Ollma通过国内源实现模型本地化部署

背景介绍

正常情况下，安装了Ollama后，可以通过简单的指令下载模型，如：

ollama run gemma3:4b

但在特别情况下，下载模型过程中会由于网络等原因被中断，为此，需要配置国内镜像源。要通过国内镜像源下载 Ollama 模型，可以按照以下方法操作：

操作系统

Ubuntu 20.04 LTS

配置 Ollama 使用国内镜像源

1. 选择国内镜像源：

• 阿里云：https://registry.ollama.ai
• DeepSeek 官方镜像：https://ollama.deepseek.com
• 浙江大学镜像站：https://ollama.zju.edu.cn
• 魔搭社区：https://ollama.modelscope.cn。

2. 配置 Ollama 镜像源：

• Linux/macOS：

  mkdir -p ~/.ollama
  cat << EOF > ~/.ollama/config.json
  {
      "registry": {
          "mirrors": {
              "registry.ollama.ai": "https://registry.ollama.ai"
          }
      }
  }
  EOF
  

• Windows：

1. 在资源管理器地址栏输入 %USERPROFILE%\.ollama。
2. 新建 config.json 文件，内容如下：

   {
      "registry": {
          "mirrors": {
              "registry.ollama.ai": "https://registry.ollama.ai"
          }
      }
   }
   

修改配置后，可以重启 Ollama 服务以确保配置生效。

sudo systemctl restart ollama

3. 使用魔搭社区镜像源下载模型：

• 魔搭社区提供了 Ollama 模型的加速下载服务。可以通过以下命令下载模型：

  ollama pull modelscope.cn/unsloth/Mistral-Small-3.1-24B-Instruct-2503-GGUF
  

• 如果需要下载其他模型，可以在魔搭社区的模型库中搜索 GGUF 格式的模型，并替换上述命令中的模型名称。

4. 通过命令参数指定镜像源：
   • 在下载模型时，可以使用 --registry-mirror 参数指定国内镜像源。例如：

     ollama run deepseek-r1:7b --registry-mirror https://registry.ollama.ai
     

常见问题

如果下载速度仍然较慢，可以尝试手动下载模型文件并放置到 ~/.ollama/models 目录中。

• 如果遇到网络问题，可以检查是否启用了代理或 VPN，可能会影响镜像源的连接。

通过以上方法，可以有效加速 Ollama 模型的下载速度。