【大模型专栏—实战篇】Ollama的使用

大模型专栏介绍

😊你好，我是小航，一个正在变秃、变强的文艺倾年。

🔔本文为大模型专栏子篇，大模型专栏将持续更新，主要讲解大模型从入门到实战打怪升级。如有兴趣，欢迎您的阅读。

💡适合人群：本科生、研究生、大模型爱好者，期待与你一同探索、学习、进步，一起卷起来叭！

🔗篇章一：本篇主要讲解Python基础、数据分析三件套、机器学习、深度学习、CUDA等基础知识、学习使用AutoDL炼丹
🔗篇章二：本篇主要讲解基本的科研知识、认识数据和显卡、语言模型如RNN、LSTM、Attention、Transformer、Bert、T5、GPT、BLOOM、LLama、Baichuan、ChatGLM等系列、强化学习教程、大模型基础知识及微调等
🔗篇章三：本篇主要讲解智能对话、大模型基础实战如Ollama、Agent、QLoar、Deepspeed、RAG、Mobile Agent等、大模型领域前沿论文总结及创新点汇总

---

---

Ollama

介绍

Ollama是一个专为在本地环境中运行和定制大型语言模型而设计的工具。它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。Ollama的目标是使大型语言模型的部署和交互变得简单，无论是对于开发者还是对于终端用户。

安装

Win 安装

官网下载：https://ollama.com/

验证安装：

ollama --version

windows 的安装默认不支持修改程序安装目录，

• 默认安装后的目录：C:\Users\username\AppData\Local\Programs\Ollama
• 默认安装的模型目录：C:\Users\username\ .ollama
• 默认的配置文件目录：C:\Users\username\AppData\Local\Ollama

我们可以设置环境变量来调整保存model的地址：

新建系统变量（别忘了提前创建文件夹）：

Linux 安装

# 方式一：
# 更新包列表
sudo apt-get update
# 安装ollama
sudo apt-get install ollama

# 方式二：
curl -fsSL https://ollama.com/install.sh | sh

# 验证安装
ollama --version

Docker 安装

docker pull ollama/ollama
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ollama/ollama

# 验证
curl localhost:3000

常用命令

1. 启动Ollama服务
ollama serve

2. 从模型文件创建模型
ollama create

3. 显示模型信息
ollama show

4. 运行模型
ollama run 模型名称

5. 从注册表中拉去模型
ollama pull 模型名称

6. 将模型推送到注册表
ollama push

7. 列出模型
ollama list

8. 复制模型
ollama cp

9. 删除模型
ollama rm 模型名称

10. 获取有关Ollama任何命令的帮助信息
ollama help

📌 [ 笔者 ]   文艺倾年
📃 [ 更新 ]   2024.9.24
❌ [ 勘误 ]   /* 暂无 */
📜 [ 声明 ]   由于作者水平有限，本文有错误和不准确之处在所难免，
              本人也很想知道这些错误，恳望读者批评指正！