【ollama3.1】ollama运行本地的模型文件.safetensors格式

下载最新3.1模型

git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3.1-8B-Instruct.git

进入ollama的安装目录：D:\peft\ollama

新建立：lama31.txt文件

FROM D:\LLaMA-Factory\Meta-Llama-3.1-8B-Instruct
TEMPLATE "{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
PARAMETER num_keep 24
 

ollama create llama3.1 -f lama31.txt

Error: json: cannot unmarshal array into Go struct field Params.eos_token_id of type int