一般在使用Ollama下载模型时，都是从Ollama官方仓库下载（使用ollama run命令），但一些环境下，受限于网速等原因使用这种方式可能会非常慢甚至无法下载，所以我们可以选择使用Huggingface上的GGUF文件，在Ollama仓库里的模型都可以在Huggingface上找到，因此我们可以使用Ollama+GGUF文件离线加载模型。
目录
一、获取GGUF模型文件
GGUF文件是大模型训练的结果文件，在Huggingface上有官方或个人上传，我们可以登录到Huggingface进行搜索，例如搜索Qwen2，可以在Files and versions栏看到许多版本的gguf文件，它们大小不同，说明对应的模型效果也不同，一般会在README.md中有对各个版本的解释。
上述gguf文件列表中，选择其中一个自己想要的文件下载即可。文件越小，运行时，响应速度越快，精度也就越低。
二、创建Modelfile文件
下载好gguf文件后，再自己创建一个Modelfile文件，文件内容写一句话即可，主要为表示gguf模型文件的路径，路径根据自己的实际情况写。
FROM ./your-model-path.gguf
比如我放在了同一个文件夹内，写成下面这样即可
三、Ollama创建模型
进行完上面的配置，就可以再Ollama中创建本地模型了，可以打开终端运行下面命令，model-name自行决定，-f后指定刚刚创建Modelfile的路径
ollama create model-name -f Modelfile创建成功后可以使用下面命令检查Ollama中是否已有模型。
Ollama list
四、Ollama运行模型
创建模型成功后就可以在运行起来了
ollama run model-name
8109
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
