ollama 部署 deepseek-r1 70B 模型完整指南

最新推荐文章于 2025-02-22 10:31:43 发布

Python编程杰哥

最新推荐文章于 2025-02-22 10:31:43 发布

阅读量6.3k

点赞数 6

文章标签： java 服务器网络产品经理人工智能 microsoft 大数据

本文链接：https://blog.csdn.net/xx_nm98/article/details/145460770

版权

ollama 部署 deepseek-r1 70B 模型完整指南

Ollama运行界面

一、模型下载与准备

1. 获取GGUF格式模型文件

通过ModelScope平台下载量化后的模型文件（推荐Q5_K_M中等量化级别）：

pip install modelscope   modelscope download --model unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF DeepSeek-R1-Distill-Llama-70B-Q5_K_M.gguf --local_dir  /DeepSeek-R1-Distill-Llama-70B-GGUF

技术说明：GGUF（GPT-Generated Unified Format）是专为LLM设计的跨平台格式，支持CPU/GPU混合推理，特别适合在苹果芯片设备或纯CPU环境运行。Q5_K_M量化在保持94%精度的同时，将模型体积压缩至49GB。

二、Ollama环境配置

1. 安装Ollama推理框架

参考官网ollama/ollama: Get up and running with Llama 3.3, Phi 4, Gemma 2, and other large language models.

curl -fsSL https://ollama.com/install.sh | sudo sh

2. 配置远程访问（可选）

参考ollama/docs/faq.md at main · ollama/ollama

如需通过其他设备访问，需修改服务配置：

sudo nano /etc/systemd/system/ollama.service

在[Service]部分添加：

Environment="OLLAMA_HOST=0.0.0.0"   Environment="OLLAMA_ORIGINS=*"

刷新服务配置：

sudo systemctl daemon-reload   sudo systemctl restart ollama

三、模型配置文件编写

创建Modelfile配置文件：

# 这里填入gguf文件路径   FROM /home/DeepSeek-R1-Distill-Llama-70B-GGUF/DeepSeek-R1-Distill-Llama-70B-Q5_K_M.gguf      # 以下为模型模板配置   TEMPLATE """{{- if .System }}{{ .System }}{{ end }}   {{- range $i, $_ := .Messages }}   {{- $last := eq (len (slice $.Messages $i)) 1}}   {{- if eq .Role "user" }}<｜User｜>{{ .Content }}   {{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}   {{- end }}   {{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}   {{- end }}"""         PARAMETER stop "<｜begin▁of▁sentence｜>"   PARAMETER stop "<｜end▁of▁sentence｜>"   PARAMETER stop "<｜User｜>"   PARAMETER stop "<｜Assistant｜>"      PARAMETER num_ctx 12800

参数解析：

stop: 设置对话终止符

num_ctx: 扩展上下文窗口至12800 tokens

四、模型加载与运行

1. 创建Ollama模型实例

ollama create DeepSeek-R1-Distill-Llama-70B-Q5_K_M -f /home/DeepSeek-R1-Distill-Llama-70B-GGUF/Modelfile

2. 验证模型列表

ollama list      # 预期输出   NAME                                           ID              SIZE     MODIFIED   DeepSeek-R1-Distill-Llama-70B-Q5_K_M:latest    dd7ae729f6fc    49 GB    46 minutes ago

3. 启动模型服务

ollama run DeepSeek-R1-Distill-Llama-70B-Q5_K_M:latest

成功运行后将进入交互式命令行界面。

五、远程访问验证

访问http://{服务器IP}:11434/，出现以下界面即表示服务正常运行：

界面显示 Ollama is running，表示可以远程访问

Ollama服务状态

六、高级应用场景

现在可通过以下方式接入模型：

Open WebUI：搭建可视化聊天界面
API集成：通过RESTful API对接应用程序
LangChain：构建自动化AI工作流

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述