Linux系统下部署DeepSeek-R1-UD-IQ1_S

---

配置

两块A100（80GB*2） Linux系统

---

部署步骤：

1.下载模型文件

从 modelscope 下载模型的 .gguf 文件：

https://www.modelscope.cn/models/unsloth/DeepSeek-R1-GGUF/files

2.安装ollama linux版

下载地址：

https://ollama.com/

1.直接安装，安装命令：

curl -fsSL https://ollama.com/install.sh | sh

2.压缩文件安装
将压缩文件解压到ollama文件夹（自建）：

tar -xvf ollama-linux-amd64.tgz -C ollama

3. 创建 Modelfile 文件，该文件用于指导 ollama 建立模型

1.用vim编辑器，为模型建立模型描述文件。
可根据自身硬件情况调整 num_gpu（GPU 加载层数）和 num_ctx（上下文窗口大小）：

FROM /homeDeepSeek-R1-UD-IQ1_S.gguf  
PARAMETER num_gpu 61  
PARAMETER num_ctx 2048  
PARAMETER temperature 0.6  
TEMPLATE "<｜User｜>{{ .Prompt }}<｜Assistant｜>"

2添加环境变量 PATH ：

export PATH=$PATH:/home/deepseek/ollama/bin
export OLLAMA_MODELS=/home/ollama_models

4. 创建 ollama 模型

1.本地系统上启动 Ollama 服务： ollama serve &
2.在第 3 步建立的模型描述文件所处目录下，执行以下命令：

ollama create DeepSeek-R1-UD-IQ1_S.gguf -f DeepSeekQ1_Modelfile

5. 运行模型

ollama run DeepSeek-R1-UD-IQ1_S.gguf --verbose

6.如下命令查看 ollama 日志

journalctl -u ollama --no-pager

相关问题

1.num_gpu设置为最大61，在进行长文本问答时会崩。
2.num_gpu设置为32时，一块gpu跑满会崩，另一块不跑。