全网唯一！手把手教你 DeepSeek-R1-Distill-Qwen-32B 云端部署 + Dify 配置全攻略

最新推荐文章于 2025-03-13 10:17:40 发布
最新推荐文章于 2025-03-13 10:17:40 发布
阅读量3k 收藏 31
点赞数 26
文章标签： 人工智能 深度学习 AI大模型 语言模型 LLM ai DeepSeek
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/star_nwe/article/details/145784215
版权

Deepseek最近太火了，关于 Deepseek 的文章虽多，但大多局限于 Ollama 部署 Deepseek 这类“玩具”场景，难以满足企业级应用的复杂需求。这些低质量内容往往缺乏深度与实用性，对于追求高效、稳定解决方案的企业而言，犹如隔靴搔痒。

而我们的专业团队，始终关注行业前沿动态，凭借对技术趋势的精准把握和深厚的技术积累，迅速捕捉到企业在 Deepseek 应用中的痛点与需求。在极短的时间内，精心打造出这篇文章。

文章聚焦于企业级应用场景，深度剖析了从云服务器部署到 Dify 配置的全流程，每一个步骤都经过反复验证，确保内容的专业性与准确性。无论是技术细节的深度挖掘，还是实际应用的场景拓展，都远超同类文章。它不仅是一份技术指南，更是企业迈向高效、智能运营的有力工具，为企业在人工智能领域的深度探索提供了高价值的参考。

1. 选择镜像

首先说一下选择什么版本的镜像。满血版R1有671B，需要的卡及存储都太大，我们可以选择DeepSeek-R1-Distill-Qwen-32B作为平替，在精度要求不那么高的场景下部署起来，作为满血版的补充。

然后是选择推理框架。推理框架分为以下几种：

  • Transformers：通过集成 Huggingface 的 Transformers 库作为后端，Xinference 可以最快地 集成当今自然语言处理（NLP）领域的最前沿模型（自然也包括 LLM）。

  • vLLM: vLLM 是由加州大学伯克利分校开发的一个开源库，专为高效服务大型语言模型（LLM）而设计。它引入了 PagedAttention 算法， 通过有效管理注意力键和值来改善内存管理，吞吐量能够达到 Transformers 的 24 倍，因此 vLLM 适合在生产环境中使用，应对高并发的用户访问。

  • SGLang ：是一个用于大型语言模型和视觉语言模型的推理框架。基于并增强了多个开源 LLM 服务引擎（包括LightLLM、vLLM和Guidance ）的许多优秀设计。SGLang 利用了FlashInfer注意力性能 CUDA 内核。

经实践测试，如果部署满血版R1建议使用SGLang镜像，如果部署蒸馏版模型建议使用vLLM，效果更好。

2. 配置GPU服务器

首先我们选择GPU ECS（我选的是火山引擎，因为火山引擎已缓存推理引擎和模型文件直接拉取速度较快），文件信息如下：

推理引擎镜像：cp-controller-cn-beijing.cr.volces.com/appdeliver-ml/vllm:0.7.1

模型文件：docker run时候会自动下载对应模型文件，如果有手动下载需求，下面链接供参考。

在这里插入图片描述

ECS实例的规格可以参考下面配置：

在这里插入图片描述

我选择的服务器配置:

在这里插入图片描述

3. 部署环境配置

购买后，进入控制台，安装docker + nvidia container toolkit，具体如下：

  • 安装docker：
# Update the apt package index and install packages to allow apt to use a repository over HTTPS

sudo apt update

sudo apt install ca-certificates curl gnupg lsb-release

# Add Docker’s official GPG key

sudo mkdir -p /etc/apt/keyrings

curl -fsSL https://mirrors.ivolces.com/docker/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

# Use the following command to set up the repository

echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.ivolces.com/docker/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# update package index

sudo apt update

# Install docker-ce

sudo apt install docker-ce docker-ce-cli containerd.io docker-compose-plugin
  • 安装nvidia-container-toolkit：
curl -s https://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/3bf863cc.pub | sudo apt-key add -

cat <<EO[F >/etc/apt/sources.list.d/nvidia.list](https://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/3bf863cc.pub)

deb http[://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/ /](https://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/3bf863cc.pub)

EOF

apt upda[te](https://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/3bf863cc.pub)

apt inst[all nvidia-container-toolkit](https://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/3bf863cc.pub)

sudo nvi[dia-ctk runtime configure --runtime=docker](https://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/3bf863cc.pub)

sudo sys[temctl restart docker](https://mirrors.ivolces.com/nvidia_all/ubuntu2204/x86_64/3bf863cc.pub)

4. 部署镜像

接下来正式部署doccker镜像（单机4卡，TP=4，PORT=8888可自定义）：

docker run -d --network host --privileged --gpus=all --name=vllm_qwen32B --ipc=host  -v /data00/models:/data00/models  -v /var/run/nvidia-topologyd/:/var/run/nvidia-topologyd/ -e MODEL_PATH=/data00/models  -e PORT=8888 -e MODEL_NAME=DeepSeek-R1-Distill-Qwen-32B -e TP=4 cp-controller-cn-beijing.cr.volces.com/appdeliver-ml/vllm:0.7.1

静等pull完成，然后看到返回compeleted，别急还没加载完成，打开docker日志继续观察：

docker logs vllm_qwen32B

日志输出出如下：

在这里插入图片描述

等到完成100%，恭喜你加载完成，docker启动成功了。

5. 服务测试

接下来先服务器内测试下是否启动成功：

执行以下curl 命令，观察到流式生成为模型正常运行，可以进行下一步的模型调用。

curl -X POST [http://0.0.0.0:8888/v1/chat/completions](http://0.0.0.0:6001/v1/chat/completions) -H "Content-Type: application/json" -d '{

"model": ["/data00/models/DeepSeek-R1-Distill-Qwe](http://0.0.0.0:6001/v1/chat/completions)n-32B",

"messages[": [](http://0.0.0.0:6001/v1/chat/completions)

{

"[role": "user",](http://0.0.0.0:6001/v1/chat/completions)

"[content": "请证明一下黎曼猜想"](http://0.0.0.0:6001/v1/chat/completions)

}

],

"stream": [true,](http://0.0.0.0:6001/v1/chat/completions)

"max_toke[ns": 100,](http://0.0.0.0:6001/v1/chat/completions)

"temperat[ure": 0.7](http://0.0.0.0:6001/v1/chat/completions)

}'

提醒：执行curl命令可能会返回 拒绝连接的提示,如下图，可能是权重文件没有下载和加载完毕，可以稍后再重试。

如果你部署在云端，需要调整安全组策略，添加入方向规则开放8888端口。配置完毕，接下来在Postman上调用接口测测看：

在这里插入图片描述

可以看到返回中有reasoning_content,R1推理成功。

在这里插入图片描述

好，接下来就是集成到应用平台，可以进行对话聊天了。我们用dify做为应用构建平台。

6. 部署Dify

以下安装流程很通用，也可以参考dify官网的说明。

  1. 系统要求

在安装 Dify 之前，请确保您的机器满足以下最低系统要求：

CPU >= 2 Core

RAM >= 4GB

  1. 安装Docker以及Docker Compose，此处不赘述，自行百度。

  2. 克隆 Dify 源代码至本地

git clone [https://github.com/langgenius/dify.git](https://github.com/langgenius/dify.git)
  1. 启动Dify
cd dify/docker

cp .env.example .env

docker compose up -d

检查是否所有容器都正常运行

docker compose ps

包括3个业务服务api / worker / web，包括6个基础组件weaviate / db / redis / nginx / ssrf_proxy / sandbox。

  1. 更新Dify
cd dify/docker

docker compose down

git pull origin main

docker compose pull

docker compose up -d

==注意：同步环境变量配置 ==

如果 .env.example 文件有更新，请务必同步修改您本地的 .env 文件。

检查 .env 文件中的所有配置项，确保它们与您的实际运行环境相匹配。您可能需要将 .env.example 中的新变量添加到 .env 文件中，并更新已更改的任何值。

  1. 访问系统

由于项目中启动了一个nginx容器将web服务转发到80端口，您可以直接在浏览器中输入公网IP地址，并设置管理员的账号密码，进入Dify应用主界面。在浏览器中输入 http://localhost 访问 Dify。

在这里插入图片描述

7. 集成模型服务

最后一步，配置大模型

选择用户信息下拉列表->设置->模型供应商，选择【OpenAI-API-compatible】模块，配置自定义模型接口。

在这里插入图片描述

按照下图格式配置信息，API Key没有就填EMPTY.

在这里插入图片描述

保存后，记得在模型列表选择配置按钮，开启模型。

8. 创建应用并发布

最后，创建一个空白应用，在模型列表里选择刚配置的模型即可。

在这里插入图片描述

点击发布应用，就可以进入聊天界面啦。

在这里插入图片描述

当然，目前与dify的集成还有些问题，比如思考内容不能输出，上下文对话轮次不能调整等。后续待优化。

9. 如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

在这里插入图片描述

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

在这里插入图片描述

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

在这里插入图片描述

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】

在这里插入图片描述

压测报告：DeepSeek-R1-Distill-Qwen-32B模型性能评估
maxcode
02-26 977
实验结果表明，DeepSeek-R1-Distill-Qwen-32B模型在不同并发请求数下表现出了较强的扩展性和稳定性。随着并发请求数的增加，峰值生成速度有所提升，但在某些场景下（如150个/秒并发请求），生成速度略有下降，可能与资源分配或计算瓶颈有关。实验主要关注模型在不同并发请求数下的峰值生成速度。每秒并发处理请求数100个。每秒并发处理请求数150个。每秒并发处理请求数200个。每秒并发处理请求数70个。每秒并发处理请求数51个。每秒并发处理请求数20个。每秒并发处理请求数6个。
开源模型应用落地-DeepSeek-R1-Distill-Qwen-7B与vllm实现推理加速的正确姿势（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
02-02 1万+
DeepSeek-R1-Distill-Qwen-7B模型通过蒸馏技术成功提炼Qwen-7B核心知识，旨在满足小型模型需求，并在全面测试中优化性能和拓展应用边界。
DeepSeek R1模型解读与使用
2401_85549225的博客
01-22 1万+
下面有个图表，这里可以重点关注DeepSeek-R1-Distill-Qwen-32B这个模型，这也是他们官方标注的，基座采用了Qwen32B的模型，在数学，代码，复杂问题的测试集中跟o1-mini一个水准，远高于GPT4o，Claude3.5-Sonnet，DeepSeek-V3。相比国内的推理模型，价格不算便宜，但性能目前确实最好的，通义千问QWQ预览版输入价格3.5元/百万tokens，输出7元/百万tokens，智谱GLM-ZERO预览版，输入输出10元/百万tokens。这是官方的性能评测图。
比较 DeepSeek-R1 模型：32B、70B 和 R1
最新发布
2301_79455190的博客
03-13 1004
DeepSeek 是一家由梁文锋于 2023 年创立的中国 AI 公司，该公司在发布 DeepSeek-R1 模型后，在人工智能领域取得了重大进展。这种开源语言模型因其在推理任务中的表现而备受关注，可与 OpenAI 的 o1 等模型相媲美。值得注意的是，DeepSeek 仅用通常所需资源的一小部分就实现了这一目标，凸显了中国在 AI 技术领域的快速进步。
DeepSeek-R1-Distill-Qwen-32B 部署教程
2201_75283933的博客
02-27 2701
DeepSeek-R1-Zero 是一款通过大规模强化学习（RL）训练而成的模型，未经过监督微调（SFT）作为前置步骤，却展现出了卓越的推理能力。在强化学习的训练过程中，该模型自然地发展出许多强大且有趣的推理行为。然而，DeepSeek-R1-Zero 也存在一些问题，例如无休止的重复、可读性差以及语言混合等。为了解决这些问题并进一步提升模型的推理性能，我们推出了 DeepSeek-R1，该模型在强化学习之前引入了冷启动数据。
vllm 本地部署生产级DeepSeek R1 32B 模型实践
maskevinwu的专栏
02-03 7584
vllm 本地部署生产级DeepSeek R1 32B 模型实践
vllm 起 DeepSeek-R1-Distill-Qwen-32B 推理服务并调用
weixin_43988131的博客
02-12 566
request 调用DeepSeek-R1-Distill-Qwen-32B推理服务。curl命令调用DeepSeek-R1-Distill-Qwen-32B推理服务
vLLM + Open-WebUI 本地私有化部署 DeepSeek-R1-Distill-Qwen-32B 方案
小毕超博客
03-07 2435
vLLM是一个快速且易于使用的大模型库，专为大模型的推理和部署而设计。可以无缝集成 HuggingFace、Modelscope 上的模型。Open WebUI是一个开源的、可扩展的、功能丰富的自托管AI平台，旨在完全离线运行。它主要设计用于与大型语言模型（LLMs）进行交互，支持多种模型和API，提供了直观的图形用户界面，使得用户可以更方便地管理和运行模型。通过 vLLM+Open WebUI快速部署DeepSeek-R1-Distill-Qwen-14B模型。
DeepSeek-R1 32B Windows+docker本地部署
qq_43530326的博客
02-08 841
最近国产大模型DeepSeek兴起，本地部署了一套deepseek同时集成Open WebUI,给大家出一期教程。
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B
engchina的专栏
02-02 8999
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B
DeepSeek大模型的DeepSeek-R1-Distill-Qwen-1.5B-GGUF版本，2025.2.6最新版的安装包OllamaSetup.exe
02-07
由于DeepSeek大模型的DeepSeek-R1-Distill-Qwen-1.5B-GGUF版本可能涉及复杂的计算和数据处理工作，其安装和部署可能需要在具备一定计算资源的环境下进行，例如配备高性能GPU的工作站或服务器。在安装过程中，用户...
DeepSeek-R1工具V1.0-36.5G网盘链接下载.txt
02-11
DeepSeek-R1工具V1.0的主要优势在于它已经预置了从1.5b到32b的多种模型，这些模型覆盖了不同复杂度和应用需求，为用户提供了丰富的选择，以满足各种深度学习任务。 对于想要尝试深度学习模型而不想从零开始搭建环境...
DeepSeek-R1-Distill-Qwen-1.5B-Q8-0.gguf（第一部分）
02-14
在本例中提到的“DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf”文件是一个GGUF格式的文件，它代表了一个经过精简和优化的模型版本。这个文件特别标注为Q8_0量化版本，意味着它在保证模型性能的同时，还通过量化技术...
DeepSeek-R1-Distill-Qwen-1.5B：最佳小型LLM？
李孟的博客
01-26 1万+
DeepSeek-R1-Distill-Qwen-1.5B，这款紧凑高效的模型在数学和推理任务中表现出色，在关键基准测试中超越了GPT-4o和Claude 3.5。
华为显卡部署DeepSeek-R1-Distill-Qwen-32B记录
weixin_43959376的博客
02-10 4139
DeepSeek 蒸馏模型 Qwen32B 在华为昇腾 Atlas 300I DUO上的部署记录（踩坑过程）
什么是DeepSeek-R1蒸馏模型？
热门推荐
asd8705的专栏
01-22 2万+
所以昨晚，DeepSeek在DeepSeek-V3之后发布了另一个革命性的模型，即DeepSeek-R1和我的孩子，这看起来是一个重大的发布，因为这个模型在几个基准测试中已经超越了OpenAI-o1，即SOTA推理模型。例如，在推理基准测试中，DeepSeek-R1-Distill-Qwen-32B的表现优于DeepSeek-R2-Zero-Qwen-34B，这表明对于较小的模型来说，蒸馏是一种更经济、更有效的方法。蒸馏的目标是使DeepSeek-R1等大型模型的推理能力能够被更小、更高效的模型所利用。
DeepSeek-R1-Distill-Qwen-32B是什么，比14b更强吗
02-06
### DeepSeek-R1-Distill-Qwen-32B 模型介绍 DeepSeek-R1-Distill-Qwen-32B 是基于 Qwen2.5-32B 进行蒸馏得到的小规模密集模型之一。该模型通过从大型预训练模型 DeepSeek-R1 中提取知识，显著提升了推理能力和性能表现[^1]。 在开发过程中，研究人员选择了 Qwen2.5-32B 作为基础模型，并直接从 DeepSeek-R1 进行了知识蒸馏。实验结果显示，在多个基准测试中，这种直接蒸馏的方法比使用强化学习优化后的效果更好，表明大模型所发现的推理模式对于提升小模型的能力非常重要[^2]。 ### 性能比较：DeepSeek-R1-Distill-Qwen-32B vs. 14B 版本 研究表明，经过精心设计的知识蒸馏过程后，即使是参数量较少的模型也能达到甚至超过更大规模模型的表现： - **14B 模型**：蒸馏后的 14B 模型大幅超越了当时最先进水平的开源 QwQ-32B-Preview (Qwen, 2024a)，显示出强大的竞争力。 - **32B 和 70B 模型**：这些更大的蒸馏版模型不仅保持住了原有优势，还在密集模型中的推理基准上创下了新纪录。特别是 DeepSeek-R1-Distill-Qwen-32B，在某些特定任务上的成绩尤为突出，例如 AIME 2024 数学竞赛方面超过了 GPT-4o 和 Claude 3.5 的表现[^3]。 综上所述，虽然 32B 版本拥有更多的参数数量，但在实际应用场景下两者之间的差距可能取决于具体任务需求；而就整体而言，32B 版本确实展现出了更强的整体实力和更广泛的应用潜力。 ```python # 示例代码展示如何加载并评估两个不同大小的模型 import torch from transformers import AutoModelForCausalLM, AutoTokenizer def evaluate_model(model_name): tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) input_text = "Evaluate this math problem:" inputs = tokenizer(input_text, return_tensors="pt") with torch.no_grad(): outputs = model.generate(**inputs, max_length=50) result = tokenizer.decode(outputs[0], skip_special_tokens=True) print(f"Result from {model_name}: ", result) evaluate_model('DeepSeek-R1-Distill-Qwen-14B') evaluate_model('DeepSeek-R1-Distill-Qwen-32B') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值