Ollama 和 ChatBox 本地部署详细教程

本教程将详细介绍如何在本地部署 Ollama 和 ChatBox，适用于 Windows、macOS 和 Linux。Ollama 是一个轻量级的本地 LLM 推理工具，而 ChatBox 是一个优秀的本地聊天 UI，支持 Ollama。

---

1. Ollama 部署

1.1 Ollama 简介

Ollama 是一个用于本地运行 AI 模型的工具，支持 Llama、Mistral、DeepSeek 等多个大模型，并且支持 GPU 加速。

1.2 安装 Ollama

Windows

1. 访问 Ollama 官网：

   • 进入 https://ollama.com。
   • 下载 Windows 版本的安装程序 (ollama-windows.msi)。
   • 双击安装，按照提示完成安装。

2. 检查 Ollama 是否安装成功

   • 打开 命令提示符 (cmd) 或 PowerShell，输入：

     ollama --version
     

   • 如果正确显示版本号，则安装成功。

macOS

1. 打开 终端，运行：

   curl -fsSL https://ollama.com/install.sh | sh
   

2. 验证安装

   ollama --version
   

Linux (Ubuntu/Debian)

1. 运行以下命令：

   curl -fsSL https://ollama.com/install.sh | sh
   

2. 验证安装

   ollama --version
   

---

1.3 下载并运行模型

下载 DeepSeek 7B（示例）

ollama pull deepseek

运行聊天

ollama run deepseek

你可以输入任何问题，Ollama 会返回 AI 生成的答案。

下载其他模型

Ollama 支持多个模型，如：

ollama pull mistral
ollama pull llama3
ollama pull gemma

自定义本地模型

你可以使用 Modelfile 来自定义模型。例如：

echo "FROM deepseek" > Modelfile
ollama create my-model Modelfile
ollama run my-model

---

2. ChatBox 部署

2.1 ChatBox 简介

ChatBox 是一个开源的 AI 聊天 UI，支持本地和云端模型，如 OpenAI API 和 Ollama。

2.2 下载 ChatBox

Windows

1. 访问 ChatBox Releases 页面。
2. 下载 Chatbox-Setup-x.y.z.exe（x.y.z 为版本号）。
3. 双击运行安装程序，按照提示完成安装。

macOS

1. 下载 .dmg 文件：
   • 进入 ChatBox Releases。
   • 下载 ChatBox-x.y.z.dmg 并安装。

Linux

1. 下载 .AppImage 文件：

   wget https://github.com/Bin-Huang/chatbox/releases/download/vx.y.z/ChatBox-x.y.z.AppImage
   chmod +x ChatBox-x.y.z.AppImage
   ./ChatBox-x.y.z.AppImage
   

---

2.3 配置 ChatBox 连接 Ollama

1. 打开 ChatBox，进入 设置（Settings）。

2. 在 API 选项 中：

   • 选择 Ollama。
   • 设置 API 地址为：

     http://localhost:11434
     

3. 选择模型：

   • 例如 deepseek、mistral、gemma，根据你下载的模型选择。

4. 测试聊天

   • 在 ChatBox 输入框内输入：

     你好，介绍一下 Ollama。
     

   • 确保 ChatBox 正确响应。

---

3. 进阶使用

3.1 Ollama REST API

Ollama 提供 HTTP API，可以用于开发：

curl http://localhost:11434/api/generate -d '{
  "model": "deepseek",
  "prompt": "你好，DeepSeek！"
}'

3.2 运行 Ollama Web UI

如果你想要一个更直观的 Web UI，可以安装：

pip install ollama-webui
ollama-webui

然后在浏览器访问 http://localhost:5000/。

3.3 在 VS Code 使用 Ollama

1. 安装 Chatbot UI 插件。
2. 配置 API 地址为 http://localhost:11434。
3. 开始聊天！

---

4. 可能遇到的问题

4.1 Ollama 下载慢

• 使用国内代理：

  export ALL_PROXY=socks5://127.0.0.1:1080  # 代理地址
  ollama pull deepseek
  

4.2 ChatBox 连接失败

• 确保 Ollama 正在运行：

  ollama run deepseek
  

• 检查 API 地址是否正确：

  http://localhost:11434
  

4.3 GPU 加速问题

• 确保安装了 CUDA：

  nvidia-smi
  

• 运行时指定 GPU：

  ollama run deepseek --device cuda
  

---

5. 总结

你已经成功在本地部署 Ollama 和 ChatBox，并可以流畅使用 AI 模型进行推理！🚀

完整流程

✅ 安装 Ollama
✅ 下载模型并运行
✅ 安装 ChatBox 并连接 Ollama
✅ 测试聊天
✅ 进阶使用 API 或 Web UI

如果遇到问题，欢迎留言讨论！🎉