（踩坑日记）Ollama部署本地微调后的GGUF模型

一、踩坑日记

根据Llamafactory官方的方法来做会报错，如下：
后面发现是Modelfile文件命名错误

后面网上找资料发现是modelfile文件命名的问题

二、正确的做法
1、创建一个文件夹（或者在原来文件也行，）用于存放GGUF文件和modelfile文件

2、用VIM创建的modelfile文件，我这里命名为sat2.modelfile，填入以下内容：

FROM testmodel.gguf
#设置temperature为1,[更高的数值回答更加发散，更低的数值回答更加保守]
PARAMETER temperature 0.7  //自由度
 
 //提示词模板
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
 
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
 
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
 
{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"
 
 
#设置tokens限制
PARAMETER num_ctx 4096
PARAMETER repeat_penalty 1.5
PARAMETER repeat_last_n 1024
 
#设置系统级别的提示词
SYSTEM 现在你是xxxx有限公司矿建领域的个人助理，我是一个矿山建设领域的工程师，你要帮我解决我的专业性问题。
MESSAGE user 你好
MESSAGE assistant 我在，我是xxxx个人助理，请问有什么我可以帮助您的嘛？

3、在之前的文件夹中打开终端，输入

ollama create sat2 -f ./sat2.modelfile

![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/1dac1f9e26c74d31b2ec9df957425997.png
下面是ollama存放model的文件夹

4、最后运行一下你的模型

ollama run sat2:latest

ok结束