第二十七篇-Ollama-加载本地模型文件

如何你本地下载好GGUF文件，可以推送到ollama中使用，节省从ollama官网拉取时间

1.准备gguf文件

下载 
/models/Qwen1.5-32B-Chat-GGUF/qwen1_5-32b-chat-q4_k_m.gguf

查看已有Modelfile文件

查看所有模型

ollama list

内容

NAME                            ID              SIZE    MODIFIED    
gemma:2b                        b50d6c999e59    1.7 GB  2 days ago 
internlm2:latest                46cde8aad8ff    4.7 GB  3 days ago 
llama-3-8b:latest               54e4e24b2bec    4.9 GB  2 days ago 
mistral-7b:latest               fe7ebabb08f5    4.1 GB  2 days ago 
mixtral-7_8b:latest             7b96df9a349a    26 GB   2 days ago 
qweb-14b:latest                 6137264107d3    9.4 GB  2 days ago 
qwen:0.5b-chat-v1.5-q4_K_M      e1c9c6192a7e    407 MB  2 days ago 
qwen1.5-14b:latest              3cc8bb79440c    9.2 GB  2 days ago 
qwen1.5-32b:latest              96743882fd6d    19 GB   5 hours ago
qwen1.5-72b-q2:latest           ac5b2e824d5c    28 GB   5 hours ago
qwen1.5-moe:latest              b3247e5069ed    10 GB   2 days ago 

可以查看已有下载的modlefile文件内容

ollama show qwen:0.5b-chat-v1.5-q4_K_M --modelfile

内容如下

FROM /root/.ollama/models/blobs/sha256-74c6b67ef34725145d42cae57543e2b6865dfedef1ff1dc6d6f53e1f691383ec
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"    

准备本地Modelfile文件

vim qwen1.5-32b.mf

内容如下

FROM /models/Qwen1.5-32B-Chat-GGUF/qwen1_5-32b-chat-q4_k_m.gguf

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"

文件名可以自定义

执行加载

ollama create qwen1.5-32b -f qwen1.5-32b.mf

等等一段时间会提示完成

验证

ollama list

qwen1.5-32b:latest              96743882fd6d    19 GB   5 hours ago

启动

ollam run qwen1.5-32b:latest

或查看运行指标
ollama run qwen1.5-32b:latest --verbose

第二十四篇-Ollama-在线安装
第二十五篇-Ollama-离线安装
第二十六篇-Ollama-监听本地IP与端口
第二十七篇-Ollama-加载本地模型文件
第二十八篇-Ollama-TeslaP40-Ollama-8B-Qwen1.5-32B等速度
第三十篇-Ollama-TeslaP40-Ollama-Qwen2-57B等速度