企业级AI部署实战：DeepSeek-R1 671B模型分布式集群推理，性能拉满！

已于 2025-03-17 10:33:15 修改
阅读量1.4k 收藏 20
点赞数 22
文章标签： 人工智能 分布式 DeepSeek-R1 DeepSeek-R1 部署 vllm ray python
于 2025-03-14 16:41:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44621343/article/details/146260967
版权

文章目录

一、前言

随着 DeepSeek AI 大模型的崛起，近期私有化部署逐渐成为行业趋势。常见的部署方式之一是使用 Ollama，这对于个人用户具非常友好无需复杂的配置就能够启动。然而，相比于专业的推理引擎，如 SGLang、vLLM，Ollama 在性能上存在一定差距。

今天带大家部署的是企业级满血版的Deepseek-R1 671B，不量化，不蒸馏版。将结合 vLLM + Ray 技术来高效部署分布式 DeepSeek-r1 满血版推理集群。

**简介：**vLLM 是一个高效的大语言模型（LLM）推理和服务库，它通过 PagedAttention 等优化技术提高了吞吐量。Ray 是一个分布式计算框架，可以轻松扩展计算密集型应用程序。结合这两种技术，可以创建高效的分布式 LLM 部署解决方案。

二、环境准备

模型下载

在Linux环境下载后的完整DeepSeek-R1模型大小为640G左右，请确保你有1T的文件存储空间

1.使用魔搭SDK下载DeepSeek-R1模型
# 安装ModelScope
pip3 install modelscope 

# 下载模型
mkdir -p /models/deepseek-r1
nohup modelscope download --model deepseek-ai/DeepSeek-R1 --local_dir /models/deepseek-r1 &
2.查看模型使用磁盘空间
root@notebook-8c6b949f-6kgwn:~# du -sh --block-size=G /models/deepseek-r1/
642G	/models/deepseek-r1/

三、软硬件环境介绍

1.硬件配置

服务器卡数数量(台)CPU(核)内存系统版本
NVIDIA H100 80GB HBM38卡2160/台1760.00G/台Ubuntu 22.04.5 LTS

2.软件工具

软件版本备注
CUDA12.2
MLNX_OFED24.10-0.7.0.0IB驱动
NCCL2.21.5GPU多卡通信
vllm0.7.2LLM推理引擎
ray2.42.0分布式计算框架

四、检查机器互通

  • 请一定要保证这几台机器网络是互通的，并记录IP地址。

安装依赖

如果你使用的是vllm+Ray的Docker镜像，则不需要安装以下依赖，如果不是，就需要安装如下依赖：

pip install vllm ray[default] openai transformers tqdm

五、基本部署流程

1. 启动Ray集群

首先，选择一台机器作为主节点，在主节点上启动Ray集群的head节点：

# 在主节点上执行
nohup ray start --block --head --port=6379 > ray.log &

其他都是worker，在其他工作节点上执行以下命令加入集群：

# 在每个工作节点上执行（替换<master IP>为主节点IP地址）
nohup ray start --block --address='<master IP>:6379' > ray.log &

2. 使用vLLM的分布式推理服务

vLLM提供了vllm命令行工具，可直接启动分布式推理服务。以下是启动服务命令：

# 在集群head节点上执行
nohup bash -c 'NCCL_NVLS_ENABLE=0 vllm serve /models/deepseek-r1/DeepSeek-R1/ --enable-reasoning --reasoning-parser deepseek_r1 --trust-remote-code --tensor-parallel-size 16 --host 0.0.0.0 --port=9001 --served-model-name DeepSeek-R1 --gpu-memory-utilization 0.8 --max-model-len 32768 --max-num-batched-tokens 32768 --quantization fp8' > vllm_deepseek_r1.log 2>&1 &

参数说明：

  • NCCL_NVLS_ENABLE=0: 禁用NVIDIA集合通信库(NCCL)的NVLS功能。NVLS是NVIDIA Library Services的缩写，禁用它可以解决某些集群环境中的通信问题。

  • vllm serve: 启动vLLM的服务模式，使模型作为API服务持续运行，而非一次性推理。

  • /models/deepseek-r1/DeepSeek-R1/: 模型的本地路径，指向存储DeepSeek-R1模型权重和配置文件的目录。

  • --enable-reasoning: 启用vLLM的推理功能，允许模型执行更复杂的推理任务，如分步骤解决问题。

  • --reasoning-parser deepseek_r1: 指定使用DeepSeek-R1模型特定的推理结果解析器。该解析器负责处理模型输出中的推理步骤和中间结果。

  • --trust-remote-code: 允许加载和执行模型中包含的自定义代码。这对于使用自定义模块的模型（如DeepSeek）很重要，但需要确保模型来源可信。

  • --tensor-parallel-size 16: 设置张量并行度为16，意味着模型将被分割到16个GPU上运行。这种拆分方式使得超大模型能够在多个GPU上高效运行，每个GPU仅存储并计算模型的一部分。

  • --host 0.0.0.0: 服务绑定到所有网络接口，允许从外部网络访问服务。如果只想本地访问，可以设置为127.0.0.1。

  • --port=9001: 设置服务监听的TCP端口为9001。客户端将通过此端口连接到vLLM服务。

  • --served-model-name DeepSeek-R1: 在API中暴露的模型名称，客户端可以通过这个名称请求模型服务。这在服务多个模型时特别有用，可以区分不同模型实例。

  • --gpu-memory-utilization 0.8: 设置GPU内存使用率上限为80%。这为系统操作和可能的波动留出了20%的缓冲空间，避免内存溢出错误。

  • --max-model-len 92768: 设置模型能处理的最大序列长度(token数)为92,768。这是一个非常大的上下文窗口，允许处理极长的输入文本。

  • --max-num-batched-tokens 92768: 设置单个批次中允许的最大token数量，这里也设置为92,768。这影响服务处理多个并发请求的能力，更大的值允许更多并发，但需要更多内存。

  • --quantization fp8: 使用FP8（8位浮点）量化技术来减少模型内存需求。FP8是NVIDIA近期支持的高效量化格式，可以在保持较好性能的同时显著减少内存占用（相比FP16或FP32）。

六、小结

好啦，今天的分享就到这里啦！ 🎉

感谢大家陪伴我一起探索如何利用 vLLM 和 Ray 技术，高效部署企业级的 DeepSeek-R1 671B 模型，打造一个性能炸裂的分布式推理集群。这篇实战指南希望能为你的AI部署之旅带来一些灵感和帮助！💡

如果你觉得这篇文章对你有启发，麻烦动动小手 点赞、分享 给更多的小伙伴，让我们一起学习、一起进步！🚀 你的支持是我持续创作的最大动力！💪

再次感谢大家的阅读！ 下期见，期待下次为大家带来更多干货和精彩内容！👋

七、参考文献

AI智算-K8s+vLLM & Ray：DeepSeek-r1 671B 满血版分布式推理部署实践
Kason_iWiki
04-09 403
自从上次发布 【AI-智算】K8s+SGLang实战：DeepSeek-r1:671b满血版多机多卡私有化部署全攻略] 文章后，本次将演示另一个主流推理引擎工具——vLLM，结合K8s、LWS、Ray、Volcano等技术栈，部署DeepSeek-r1 671b 满血版分布式推理集群，并对比其与SGLang推理引擎的性能表现。
AI智算-k8s+SGLang实战：DeepSeek-r1:671b满血版多机多卡私有化部署全攻略
Kason_iWiki
02-23 1477
随着 DeepSeek AI 大模型的崛起，近期私有化部署逐渐成为行业趋势。常见的部署方式之一是使用 Ollama，这对于个人用户和本地开发环境而言，具有较好的兼容性，尤其是支持各种 GPU 硬件和大模型的兼容性，且无需复杂的配置就能够启动。然而，相比于专业的推理引擎，如 SGLang、vLLM，Ollama 在性能上存在一定差距。今天，阿程将介绍如何结合云原生K8s、SGLang、LeaderWorkerSet 和 Volcano 等技术栈，来高效部署分布式 DeepSeek-r1 满血版推理集群。
基于vLLM部署企业级DeepSeek大模型
秃了也弱了
03-07 2715
Ollma框架适合个人用户私有化本地部署，但在多用户并发场景下性能衰减明显。vLLM 是由加州大学伯克利分校 LMSYS 组织开源的大语言模型（LLM）高速推理框架。它旨在显著提升实时场景下语言模型服务的吞吐量和内存使用效率。vLLM 的主要特点包括：1、PagedAttention 技术：vLLM 引入了 PagedAttention 算法，通过分页管理注意力机制中的键（keys）和值（values），有效解决了传统方法中显存碎片化和过度预留的问题。
使用vllm部署DeepSeek-R1-Distill-Qwen-1.5B
xuebodx0923的博客
02-02 7571
是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。也正是因为如此，DeepSeek R1价格非常便宜，每100万个输出tokens 2.19美元，而 OpenAI o1 则需要60美元，DeepSeek R1便宜 96.4%，性能却不相上下，完全就是逆风翻盘。推出国产大模型DeepSeek-V3和DeepSeek-R1。由于硬件的限制，我们下面用vllm部署了一个最小的模型DeepSeek-R1-Distill-Qwen-1.5B。
解锁大模型潜力：vLLM 集群部署 满血DeepSeek R1 671B大模型实战指南
m0_59163425的博客
02-25 4863
导语： 大模型时代，如何高效部署和推理成为关键挑战。DeepSeek 是一个专注于中文理解和生成的大模型系列，涵盖了文本分类、情感分析、机器翻译、文本摘要等多个任务。其强大的语义理解和生成能力，为各种自然语言处理应用提供了有力支持。本文将带你深入探索 vLLM 集群部署 DeepSeek 大模型的实战技巧，解锁大模型应用的无限可能！近年来，大模型在自然语言处理、计算机视觉等领域取得了突破性进展，但其庞大的参数量和计算需求也给部署和推理带来了巨大挑战。如何高效、稳定地运行大模型，成为开发者们关注的焦点。
DeepSeek 部署指南 (使用 vLLM 本地部署)
热门推荐
m0_48891301的博客
02-07 3万+
vLLM (https://github.com/vllm-project/vllm) 是一个快速且易于使用的库，用于进行大型语言模型的推理和部署。
DeepSeek-多机多卡集群部署
03-12 1748
前面我们无论是直接部署，还是容器部署都还是单机的模型，受单机GPU限制，并不能跑比较大的模型，今天我们将用多台机器组成一个集群来跑一个更大的模型。
DeepSeek-R1本机部署（VLLM+OpenWebUI）
weixin_59534602的博客
02-12 4215
VLLM本机部署DeepSeek-R1的不同参数量化模型，并配置可视化WebUI界面。
大模型部署实战：基于Ollama + DeepSeek-R1 + OpenAI的混合架构
qq_32358423的博客
02-14 1774
在AI技术快速发展的今天，大语言模型（LLM）已成为开发者工具箱中的核心组件。然而，直接依赖云端API（如OpenAI）可能面临成本、隐私和延迟等问题。（OpenAI），我们可以构建灵活、可控且高性价比的混合架构。本文将手把手教你实现这一方案。无论是个人项目还是企业应用，这套方案都能为你提供强大的AI能力支撑。
私有化部署DeepSeek-R1 671B，公司内部团队使用
spy17642913947的博客
02-10 8049
环境搭建与验证通过对硬件、操作系统与 Python 环境的确认，保证了运行环境的可靠性；使用 Ollama 进行统一管理，并结合 AnythingLLM 提供可视化交互界面。模型下载与部署测试顺利地加载 DeepSeek-R1 671B 预训练模型；进行了基础功能、性能与安全性测试，并取得预期结果。正式上线与持续维护机制构建了上线流程、监控告警系统、与后续的扩容和优化思路；为未来模型微调、分布式扩展等高阶需求预留空间。
DeepSeek大模型一键部署解决方案：全平台多机分布式推理与国产硬件优化异构计算私有部署
风一样
02-13 6481
以上是关于如何安装 GPUStack 并在不同场景下部署 DeekSeek R1 模型的使用教程。了解更多信息。GPUStack 是一个低门槛、易上手、开箱即用的私有大模型服务平台。它可以轻松整合并利用各种异构 GPU 资源，方便快捷地为生成式 AI 应用和应用开发人员部署所需的各种 AI 模型。GPUStack 背后的研发团队具有全球顶级开源项目经验，项目的功能设计和文档都很完整，团队自项目初期便面向全球用户，当前已有大量国内外开源用户。团队致力于将国产开源项目推广到全球，值得关注。。
采用分布式部署deepseek
慧香一格的专栏
02-17 2206
分布式部署DeepSeek涉及使用多个计算节点来加速模型训练或提升推理效率。下面是一个基本的指南，帮助您了解如何进行分布式部署。初始化进程组： 定义模型并封装为DDP： 数据并行处理：启动脚本： 使用Horovod 安装Horovod：修改代码以支持Horovod：运行训练脚本： 4. 监控与调优 性能监控：利用NVIDIA的NCCL库优化GPU间的通信效率；使用TensorBoard或其他可视化工具监控训练进度。 故障排除：
深度解析：大模型在多显卡服务器下的通信机制与分布式训练——以DeepSeek、Ollama和vLLM为例
weixin_45631123的博客
02-23 1724
随着大模型参数规模突破千亿级（如GPT-4、DeepSeek），单显卡的显存容量与算力已无法满足需求。多显卡并行计算成为训练与推理的核心技术，其核心挑战在于与。本文以国产大模型DeepSeek为例，结合Ollama与vLLM推理引擎，深度剖析多显卡协同工作的技术实现，并通过代码示例、性能数据与架构图展示完整解决方案。：将训练数据划分为多个批次，每个显卡持有完整的模型副本，独立计算梯度后同步更新。fill:#333;color:#333;color:#333;fill:none;AllGather。
生产环境H200部署DeepSeek 671B 满血版全流程实战（二）：vLLM 安装详解
nulifancuoAI的博客
03-11 1473
在上一篇文章，我们完成了H200服务器的系统初始化工作，包括驱动安装和CUDA环境配置，为DeepSeek 671B模型的部署奠定了基础。然而，面对单机8卡H200的141GB显存和NVLink高速互联的硬件资源，如何高效利用这些资源实现千亿参数大模型的推理加速，成为关键挑战。vLLM 作为一款高性能推理引擎，能够极大提升 DeepSeek 671B 模型在推理阶段的表现，使模型能够更快速、更准确地生成结果，满足生产环境中对实时性和高吞吐量的严苛要求。
在docker容器中运行vllm部署deepseek-r1大模型
qq_26572567的博客
02-28 1665
在docker容器中运行vllm部署deepseek-r1大模型
DeepSeek 本地部署指南（基于 vLLM）
2401_84033492的博客
02-28 3144
通过以上步骤，你已成功在本地部署了 DeepSeek 模型，并能够通过 vLLM 进行推理。如果在部署过程中遇到问题，请参考 vLLM 官方文档或在相关社区寻求帮助。祝你使用愉快！
DeepSeek-R1本地化部署的两种方案！
weixin_37737254的博客
02-08 1232
DeepSeek爆火之后，短时间官网和app都涌入大量用户，再加上对面美帝不讲武德搞攻击，导致官网和api调用非常不稳定，极度影响用户体验：综合这几天来看，要想继续无痛使用DeepSeek，有如下几种方案：继续使用官网，等DeepSeek官方修复和提升用户体验使用第三方平台上的DeepSeek，比如硅基流动、秘塔、纳米搜索等本地化部署这篇文章主要介绍两种本地化部署方案。需要提前说明的是，本地化部署...
模型名称 核心功能 适合场景 优点 缺点DeepSeek-R1-Distill-Qwen-1.5B 轻量级对话与基础文本生成 移动端应用、低算力设备（如IoT设备） 极低资源占用（CPU可运行），响应速度快 生成质量有限，复杂任务易出错DeepSeek-R1-Distill-Qwen-7B 通用对话与多轮交互 智能客服、教育问答 平衡性能与资源消耗，支持中等复杂度任务 长上下文处理能力较弱DeepSeek-R1-Distill-Llama-8B 多语言支持（侧重英文） 跨语言翻译、国际化客服 英语任务表现优于Qwen系列 中文能力可能弱于Qwen同参数量级模型DeepSeek-R1-Distill-Qwen-14B 复杂意图理解与长文本生成 文档摘要、报告生成 长文本连贯性较好，逻辑推理能力提升 需中等GPU（如RTX 3090）部署DeepSeek-R1-Distill-Qwen-32B 专业领域问答（如法律、医疗） 垂直行业知识库、专业咨询 领域微调潜力大，知识覆盖广 显存需求高（需A100 40GB以上）DeepSeek-R1-Distill-Llama-70B 高精度多模态任务辅助 科研分析、多模态数据处理 支持图文混合输入，适合复杂场景 部署成本极高，仅适合企业级应用DeepSeek-R1-Distill-Llama-671B 超大规模推理与决策 国家级AI基础设施、超算中心 接近原版大模型能力，泛化性极强 需分布式计算集群，商业化成本不现实
最新发布
03-13
### 不同DeepSeek模型的核心功能、适用场景及优缺点 DeepSeek 是一系列基于 Transformer 的大型语言模型，旨在提供高性能的语言理解和生成能力。以下是几种主要的 DeepSeek 模型及其核心功能、适用场景以及各自的优缺点。 #### 1. **DeepSeek-Large** - **核心功能**: 这一版本提供了强大的基础性能，在多种自然语言处理任务上表现出色，例如文本分类、情感分析和问答系统[^1]。 - **适用场景**: 主要用于学术研究和技术开发环境下的通用 NLP 应用程序。适合需要高精度但计算资源有限的情况。 - **优点**: - 较低的成本运行复杂任务； - 能够快速适应新领域的小样本学习需求； - 更好的泛化能力和鲁棒性。 - **缺点**: - 对于极端复杂的多模态任务可能表现不足； - 需要进一步优化才能达到最佳效果。 #### 2. **DeepSeek-Max** - **核心功能**: 提供更高的参数量和支持更大的训练数据集，从而增强了其在大规模语料库上的理解力与创造力。 - **适用场景**: 广泛应用于创意写作、高级对话代理等领域，尤其适用于那些对响应质量有极高要求的应用场合。 - **优点**: - 极高的表达能力和灵活性； - 可以更好地捕捉细微差别并生成更高质量的内容； - 支持更多样化的输入形式（如表格、图片描述等）。 - **缺点**: - 计算开销较大，部署成本较高； - 存储空间占用较多。 #### 3. **DeepSeek-NL** - **核心功能**: 特别针对特定国家或地区的本地化需求设计而成，能够很好地支持当地语言特性及相关文化背景的知识检索和服务供给[^3]。 - **适用场景**: 常见于国际化企业内部沟通工具定制化解决方案或者跨国电商平台客户服务自动化流程构建当中。 - **优点**: - 出色的文化敏感度和区域适配水平； - 显著提升了跨文化交流效率的同时降低了误解风险； - 用户体验更加贴近实际生活情境。 - **缺点**: - 如果目标市场范围过广，则难以全面覆盖所有细节差异； - 更新维护频率需保持高位以免落后于最新趋势变化。 ```python import deepseek as ds # Example usage of a DeepSeek model for text generation. model = ds.Model('deepseek-max') output = model.generate("Write an essay about artificial intelligence.", max_length=500) print(output) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

贾维斯Echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值