Ollama 运行从 ModelScope 下载的 GGUF 格式的模型(DeepSeek 为例)

BIBI2049

已于 2025-02-06 10:36:57 修改

阅读量4.4k

点赞数 8

文章标签： Ollama ModelScope GGUF

于 2025-01-29 23:08:18 首次发布

本文链接：https://blog.csdn.net/billy_chen_2013/article/details/145379897

版权

本文系统环境

Windows 10

Ollama 0.5.7

Ollama 是什么？

Ollama 可以让你快速集成和部署本地 AI 模型。它支持各种不同的 AI 模型，并允许用户通过简单的 API 进行调用

Ollama 官网有其下载及安装方法，非常简便

但如果希望不占用系统盘大量空间，可以参考 Ollama Windows 文档这样安装

1. 把 Ollama 安装到其它磁盘

命令行定位到 Ollama 安装包 OllamaSetup.exe 的目录下，运行如下命令，指定你希望的安装目录

OllamaSetup.exe /DIR="D:\Program Files\Ollama"

2. 更改 Ollama 的模型存放位置

Ollama 后续下载安装的模型默认存放在系统盘，会非常占用位置

设置 OLLAMA_MODELS 系统变量，指定希望的模型存放目录

设置完后，如果 Ollama 服务已在运行，要重启一下 Ollama 服务方能生效

Ollama 官方安装模型的方法很简单

例如：

ollama run deepseek-r1

但下载速度一般非常慢

我们可以从 ModelScope 先下载模型，再通过 Ollama 加载模型

Ollama 能轻易加载 GGUF 格式的模型，检索 GGUF 模型进行下载

模型名称里所包含的 0.5B、7B、32B 等字眼，表示模型的参数数量，简单理解就是表示该模型的回答准确度。数字越大，该模型文件则越大，回答问题所需时间则越久，回答则越准确。视你的电脑性能而定下载哪一款模型。本文出于测试用途，下载较小的 1.5B 即可。

推荐用官方命令行方式下载，下载过程中有进度条，可指定下载目录

modelscope download --model 'unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF' --local_dir 'D:\Models\DeepSeek-R1-Distill-Qwen-1.5B-GGUF'

下载完成后，目录类似这样：

关于 gguf 文件，简单理解就是体积越大的回答准确率就越高

在上述下载 gguf 模型的目录中新建一个名为 Modelfile 的文件

Modelfile 文件内容如下

FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q5_K_M.gguf

在 gguf 模型的目录下运行 Ollama 加载 gguf 的命令

ollama create deepseek-r1:1.5b -f Modelfile

至此，在上面 OLLAMA_MODELS 系统变量对应的目录下会生成 Ollama 的模型数据

由于 Ollama 已安装，因此 ollama 命令可用

列出当前已安装模型

ollama ls

运行指定模型

ollama run deepseek-r1:1.5b

下面简单测试一下

DeepSeek R1 有思考问题的过程，但回答的诗名对不上作者呀😓。也许是因为 1.5b 的版本性能不太好

Qwen 0.5b 版本回答得比较简洁，但有重复，诗的作者也搞错了一半

看来模型参数比较低(0.5b, 1b, 1.5b 等等)的模型，回答是仅供测试和参考的，勿当真