【大模型】Ollama 更改镜像源，通过魔搭拉取模型

OpenSeek

已于 2025-02-26 13:22:07 修改

阅读量9.8k

点赞数 31

分类专栏：人工智能 # 大语言模型文章标签：人工智能自然语言处理语言模型

于 2025-02-09 13:43:32 首次发布

本文链接：https://blog.csdn.net/OpenSeek/article/details/145531089

版权

人工智能同时被 2 个专栏收录

4 篇文章

订阅专栏

大语言模型

2 篇文章

订阅专栏

Ollama 更改镜像源，通过魔搭拉取模型

1.选择模型
2.拉取模型.
3.指定量化
4.指定模板

当前比较流行使用Ollama部署本地大模型，但是由于资源问题，经常会遇到下载速度很慢或下载不成功的问题。国内知名镜像源并没找到相应的镜像。以下介绍通过魔搭社区的模型库拉取大模型的方法：

ModelScope2Registry 是 Ollama 到 ModelScope 的模型 Registry 镜像站 / 加速器，它为 ModelScope 补齐更多了 Ollama Registry Manifests 信息，使 Ollama 能够从 ModelScope 魔搭更快的拉取 / 下载模型。

Ollama 本地部署教程可参考：Ollama 本地部署DeepSeek模型，并通过ChatBox调用

1.选择模型

访问魔搭社区模型库：https://www.modelscope.cn/models

选择要部署的大模型（请选择带有 GGUF 模型的仓库）
以Qwen2.5-7B为例：
在这里插入图片描述

2.拉取模型.

ollama run modelscope2ollama-registry.azurewebsites.net/qwen/Qwen2.5-7B-Instruct-gguf

这将能够拉取 https://www.modelscope.cn/models/qwen/Qwen2.5-7B-Instruct-gguf 中的模型，对于不带有标签或 latest 将依次按顺序尝试选择Q4_K_M、Q4_0、Q8_0量化。

最近比较火的DeepSeek大模型：

ollama run modelscope2ollama-registry.azurewebsites.net/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF

注：通常此步骤即可完成拉取并部署本地模型的工作，如果对大模型有更深入的了解，可以继续执行后面两个步骤。

3.指定量化

可以通过 tag 指定选择的量化：

ollama run modelscope2ollama-registry.azurewebsites.net/qwen/Qwen2.5-7B-Instruct-gguf:Q8_0

这将能够拉取 https://www.modelscope.cn/models/qwen/Qwen2.5-7B-Instruct-gguf/resolve/master/qwen2.5-0.5b-instruct-q8_0.gguf ，量化类型标签不区分大小写，你可以在这里查看 Ollama 支持的量化。

仓库中需要包含带有正确格式文件名的 GGUF 文件（模型名称以“-”分隔，最后一位需要为有效的量化类型，形如：model-quant.gguf），暂不支持包含类似 0000x-of-0000x 的切分后的模型。

4.指定模板

若对话模板未能正确识别或识别有误导致对话输出异常，你可以尝试在标签后添加–为模型指定对话模板：

ollama run modelscope2ollama-registry.azurewebsites.net/qwen/Qwen2.5-7B-Instruct-gguf:Q8_0--qwen2

你可以查看 Ollama 官方支持的模板，和魔塔支持的模板，以手动指定更加合适的模板。