Ollama加载gguf模型

1 下载gguf模型

在 https://huggingface.co/models 上搜索对应模型的gguf文件下载即可。

如 Qwen/Qwen2-0.5B-Instruct-GGUF

2 创建模型信息文件

文件格式没要求， 用简单的txt文件就行

比如建立一个my_model.txt文件， 写入以下内容：

FROM your_path/qwen2-0_5b-instruct-q2_k.gguf

3 加载模型使用

ollama create my_model -f my_model.txt

然后就可以愉快地使用了：

ollama run   my_model

注意： 如果出现了Error: invalid file magic的错误， 大概率是这个gguf文件中的某些操作ollama还不支持， 如有些特殊的量化操作等。