背景
ollama最方便加载模型的方式是 pull,但是受限于网络问题,对于稍大点的模型,特别容易中断,断了又要重开,而开源模型一般都放在 github或者是 huggingface上,可以通过工具断点续传下到本地,所以更落地的方式是把模型下载好,然后导入到ollama中即可。网上有很多用 ollama import 命令的方式教程,但在我的 ollama2环境下,import 这个参数直接报错,所以要用 ollama create命令。
目标
下载一个 deepseek 模型,格式为safetensors的,放到自定义的目录,然后再想办法用 ollama导入,躲开 pull 网络拉取。
开干
1)在huggingface上下载一个deepseek,为了节约时间,我们下一个小一点的,
https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B,整体下载下来大概不到 4个 G,下载完成后,存到自己指定的目录,比如我的是/Users/facaishu/DeepSeek15B。
2)进入到刚才自定义的的这个目录:
先 list一下,看看当前 ollama 的模型有哪些:
3)用任意文本工具,建立第一个文件,取名"model.yaml",文件内容如下:
name: deepseek15b
format: safetensors
architecture: deepseek-llm
description: DeepSeek 15B large language model for general text generation tasks, capable of generating high-quality text in various domains.
4)建立第二个文件,取名"modules.json",文件内容如下:
[
{
"name": "deepseek15b",
"path": "model.safetensors",
"format": "safetensors"
}
]
5)建立第三个文件,取名“Modelfile",扩展名可以不要,内容如下,对,就一行:
FROM ./model.safetensors
6)检查一下自定义的这个文件夹中,这三个文件是不是都好好躺着:
7)一切正常后,就在当前的这个目录下,执行如下命令,注意路径改成你自己的:
ollama create deepseek15b -f /User/facaishu/Modelfile
不出妖蛾子的话,会输出如下信息。
看到 success 会很兴奋,再 list 一下看看:
果然有了,再 run 一下:
成功了。