【自然语言处理与大模型】Ollama部署本地GGUF模型

        关于Ollama的基本使用方法，在之前的文章：Ollama的使用介绍 中就已经记录。那么本文想补充说明一下如果你想在本地部署一个GGUF格式的模型，该怎么使用Ollama来实现呢？答案是创建一个Modefile文件，在文件中指定模型所在位置，然后执行对应命令即可。

第一步：创建Modelfile文件

# 指定本地模型的位置
FROM /root/auto-temp/Qwen2.5-0.5B-Instruct-F16.gguf

# 指定模型参数
PARAMETER temperature 0.7

# 设置系统消息，定义助手行为
SYSTEM """
You are a helpful assistant.
"""

注意几个细节：

1. Modelfile文件不能有后缀名；
2. Modelfile文件只有第一行是必须的，其他配置都可以不指定。

第二步：执行命令加载模型到Ollama的模型列表中

在Modelfile文件所在路径下执行命令：

ollama create my_qwen -f Modelfile