体验DeepSeek顶级性能！DeepSeek-R1-70B本地部署全攻略

算家计算

于 2025-02-11 16:02:14 发布

阅读量5.3k

点赞数 31

分类专栏：模型构建文章标签：人工智能 DeepSeek-R1 算家云应用社区 DeepSeek-R1-70B 部署教程推理模型

本文链接：https://blog.csdn.net/SJJS_1/article/details/145573995

版权

模型构建专栏收录该内容

167 篇文章

订阅专栏

DeepSeek-R1 70B，作为DeepSeek-R1系列中仅次于671B的次顶级模型，有着接近GPT-4的推理能力。

它不仅能够处理极其复杂的任务，如数学问题解决、编程辅助和科研分析，还能在多种应用场景中展现出色的性能。

然而，强大的模型往往伴随着复杂的部署过程。

R1系列的7B、8B等版本在速度、回答准确性和参数调用上远远低于满血版70B模型，而使用在线官网的问答，经常会出现服务器无响应的情况。那么为了解决大家的痛点，小编今天就教大家如何部署DeepSeek-R1 70B，免费拥有自己的满血AI！

这里为大家提供了本地部署教程：

1、安装ollama

运行命令进行安装：

curl -fsSL https://ollama.com/install.sh | sh

设置模型下载地址、开放ip及端口：

（可选）如有模型地址更改需求，可用下命令：

export OLLAMA_MODELS=/root/sj-tmp/ollama/models

设置ip地址及端口：

export OLLAMA_HOST=0.0.0.0:8080

然后记得通过 vim /root/.bashrc写入文件

2、运行ollama

直接运行：

ollama serve

等待运行成功后，可以在另一个终端通过api访问：

curl http://127.0.0.1:8080/api/tags

持久运行（后台模式）

如果你需要 ollama 在后台运行，可以使用：

nohup ollama serve > ollama.log 2>&1 &

或者使用 tmux / screen 来保持会话。

3、下载并启动deepseek模型

ollama run deepseek-r1:70b

等待下载完成后，可以直接进行对话：

如何api调用？

可以使用 PowerShell 或 Python 访问它。

✅ PowerShell

如果你想在 PowerShell 里 调用 deepseek-r1:70b 进行推理 ：

Invoke-RestMethod -Uri "http://192.168.1.100:8080/api/generate" -Method Post -Body (@{model="deepseek-r1:70b"; prompt="你好，介绍一下自己"} | ConvertTo-Json -Depth 10) -ContentType "application/json"

✅ Python

如果你想在 Python 里调用 ：

import requests 
import json 
url = "http://127.0.0.1:8080/api/generate" 
data = { 
"model": "deepseek-r1:70b", 
"prompt": "在数学中，3.11 和 3.8 谁大？请给出详细分析。", 
} 
response = requests.post(url, json=data) 
# 存储最终的文本结果 
text_output = "" 
# 逐行解析 JSON 
for line in response.text.strip().split("\n"): 
try: 
json_data = json.loads(line) # 解析每一行 JSON 
if "response" in json_data: 
text_output += json_data["response"] # 拼接文本 
if json_data.get("done", False): # 检查是否完成 
break 
except json.JSONDecodeError as e: 
print("JSON 解析错误:", e) 
print("最终结果:", text_output)