AI学习笔记 本地下载好的 deepseek模型如何导入 ollama 中

背景

 ollama最方便加载模型的方式是 pull,但是受限于网络问题,对于稍大点的模型,特别容易中断,断了又要重开,而开源模型一般都放在 github或者是 huggingface上,可以通过工具断点续传下到本地,所以更落地的方式是把模型下载好,然后导入到ollama中即可。网上有很多用 ollama import 命令的方式教程,但在我的 ollama2环境下,import 这个参数直接报错,所以要用 ollama create命令。

目标

下载一个 deepseek 模型,格式为safetensors的,放到自定义的目录,然后再想办法用 ollama导入,躲开 pull 网络拉取。

开干

1)在huggingface上下载一个deepseek,为了节约时间,我们下一个小一点的,

https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B整体下载下来大概不到 4 G,下载完成后,存到自己指定的目录,比如我的是/Users/facaishu/DeepSeek15B。

2)进入到刚才自定义的的这个目录:

先 list一下,看看当前 ollama 的模型有哪些:

3)用任意文本工具,建立第一个文件,取名"model.yaml",文件内容如下:

name: deepseek15b
format: safetensors
architecture: deepseek-llm
description: DeepSeek 15B large language model for general text generation tasks, capable of generating high-quality text in various domains.

4)建立第二个文件,取名"modules.json",文件内容如下:

[
  {
    "name": "deepseek15b",
    "path": "model.safetensors",
    "format": "safetensors"
  }
]

5)建立第三个文件,取名“Modelfile",扩展名可以不要,内容如下,对,就一行:

FROM ./model.safetensors

6)检查一下自定义的这个文件夹中,这三个文件是不是都好好躺着:

7)一切正常后,就在当前的这个目录下,执行如下命令,注意路径改成你自己的:

ollama create deepseek15b -f /User/facaishu/Modelfile

不出妖蛾子的话,会输出如下信息。

看到 success 会很兴奋,再 list 一下看看:

果然有了,再 run 一下:

成功了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值