Ollama手动导入GGUF模型文件

Ollama下载安装

关于Ollama的安装可以阅读该链接。

下载模型文件

进入该网站https://huggingface.co/
直接搜索模型关键词，以Qwen为例，在列表中找到GGUF结尾的模型。

这里只下载GGUF后缀的模型文件，选好自己想要的模型版本，主要看好模型大小，大小决定了最后模型占用显存大小和内存大小。
例如下载一个12GB大小的模型文件，最终模型运行时需要占用显卡显存大小也大概为12GB，一般选比显存小的模型文件。

下载完成将模型放到对应目录下，在模型文件同级目录下创建一个文件，这里命名叫做 Modelfile
接着使用文本编辑器打开该文件，输入下列内容，指向对应的模型文件。

FROM ./Qwen2-7B-LLM-Q2_K.gguf

若 Modelfile文件跟模型文件放在同一个目录下时，FROM ./后面执行的内容可以是模型的相对路径，否则需要为绝对路径。

在模型所在目录下打开 cmd 窗口

输入指令ollama create <模型名称> -f ./Modelfile就可以把模型导入Ollama了
更改这里的<模型名称>可以自己给模型命名。

模型导入完成后，使用ollama list指令可以查看模型列表

使用ollama run <模型名称> 就可以运行新导入的模型了。