【AI-智算】DeepSeek-R1 满血版推理集群优化 & H100

于 2025-04-30 20:13:09 发布
阅读量948 收藏 30
点赞数 15
文章标签： 人工智能 机器翻译 自然语言处理 语言模型 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_58753619/article/details/147639423
版权

当前现状

DeepSeek-r1集群运行环境

硬件配置
GPU服务器数量（台）CPU（核）内存（TB）系统版本RDMA
NVIDIA H100 80GB HBM321922.0TiUbuntu 22.04.5 LTS4 * IB（400 Gb/sec ）2 * RoCE (200 Gb/sec)
软件平台
软件名称版本备注
Kubernetesv1.30.6容器编排引擎
GPU Operatorv24.9.1自动化管理配置GPU驱动程序
Volcanov1.9.0调度引擎
NVIDIA Driver560.35.03GPU驱动
NVIDIA-Fabric Manager560.35.03NVSwitch互联
CUDA12.6
MLNX_OFED24.10-0.7.0.0IB驱动
SGLangv0.4.4.post3-cu125LLM推理引擎
LeaderWorkerSetv0.5.1PodGroup Deploy API

SGLang默认启动参数

...
python3 -m sglang.launch_server
  --model-path /root/.cache/modelscope/DeepSeek-R1
  --served-model-name deepseek-r1
  --tp 16
  --dist-init-addr $LWS_LEADER_ADDRESS:20000
  --nnodes $LWS_GROUP_SIZE
  --node-rank 0
  --trust-remote-code
  --context-length 131072
  --enable-metrics
  --host 0.0.0.0
  --port 8000
...

性能压测（优化前）

镜像版本：sglang:v0.4.4.post3-cu125
测试数据集：ShareGPT_V3_unfiltered_cleaned_split.json

场景一：输入短文本

输入128 token，输出1024 token

Concurrent RequestsMedian TTFT (ms)Median TPOT (ms)Median E2E Latency (ms)Median ITL (ms)TPS(tok/s)
1355.4925.4926449.0425.5038.70
327721.7456.1760849.4252.00538.36
648010.8966.9976260.2666.95858.86
12828843.2282.93113341.4682.271155.78
25610623.08320.18340654.69319.57769.31
5124259.43311.65345999.26310.731025.71

场景二：输入长文本

输入4096 token，输出1024 token

Concurrent RequestsMedian TTFT (ms)Median E2E Latency (ms)Median ITL (ms)TPS(tok/s)
1417.7336274.2234.4228.20
327838.6974905.9259.96437.24
6414516.86110943.4583.06538.56
12869644.50213755.8377.22516.97
256216000.23315532.2876.78571.17
512349270.54527935.3175.85580.92

优化措施

1. 版本升级

采用目前发布的最新dev镜像版本：
ccr.ccs.tencentyun.com/app-public/sglang:dev-c764-0402fix
原默认镜像在添加优化参数后启动会崩溃，阿程基于社区最新的main重新构建了镜像（包含2个Bug fix，详情见本文末）

2. 参数调优

python3 -m sglang.launch_server
              --model-path /root/.cache/modelscope/DeepSeek-R1
              --served-model-name deepseek-r1
              --tp 16
              --dist-init-addr $LWS_LEADER_ADDRESS:20000
              --nnodes $LWS_GROUP_SIZE
              --node-rank $LWS_WORKER_INDEX
              --trust-remote-code
              --context-length 131072
              --enable-metrics
              --host 0.0.0.0
              --port 8000
              --reasoning-parser deepseek-r1   # 思维链
              --mem-fraction-static 0.9
              --enable-torch-compile
              --chunked-prefill-size 16384
              --enable-flashinfer-mla
              --disable-radix-cache
              --speculative-algo EAGLE
              --speculative-num-steps 3
              --speculative-eagle-topk 1
              --speculative-num-draft-tokens 4
              --speculative-draft /root/.cache/modelscope/DeepSeek-R1-NextN
...              
            env:
              - name: GLOO_SOCKET_IFNAME
                value: eth0
              - name: NCCL_IB_HCA
                value: "mlx5_0,mlx5_1,mlx5_4,mlx5_5"
              - name: NCCL_P2P_LEVEL
                value: "NVL"
              - name: NCCL_IB_GID_INDEX
                value: "0"
              - name: NCCL_IB_CUDA_SUPPORT
                value: "1"
              - name: NCCL_IB_DISABLE
                value: "0"
              - name: NCCL_SOCKET_IFNAME
                value: "eth0"
              - name: NCCL_DEBUG
                value: "INFO"
              - name: NCCL_NET_GDR_LEVEL
                value: "2"
              - name: SGLANG_USE_MODELSCOPE
                value: "true"
              - name: SGL_ENABLE_JIT_DEEPGEMM
                value: "1"

启动时长：8min

性能压测（优化后）

场景一：输入短文本

输入128 token，输出1024 token

Concurrent RequestsMedian TTFT (ms)Median TPOT (ms)Median E2E Latency (ms)Median ITL (ms)TPS(tok/s)
1339.4524.4925396.0224.4941.28
32966.8554.4456661.3754.26581.14
641228.5066.7269558.5766.61941.50
1281813.9681.7385430.4381.431533.08
2563003.42345.10356040.06339.69736.08
5123125.95342.48351727.72337.58743.02

场景二：输入长文本

输入4096 token，输出1024 token

Concurrent RequestsMedian TTFT (ms)Median TPOT (ms)Median E2E Latency (ms)Median ITL (ms)TPS(tok/s)
1538.9825.4926615.5125.3838.44
327063.6961.2969761.8058.04469.36
6412126.5581.4295409.6474.31524.70
12898597.0180.67189869.5773.92584.03
256196654.1981.34286471.5273.76605.18
512393158.1280.81480705.5773.95627.96

512并发压测512并发压测

性能对比（优化前 vs 优化后）

1. 短文本场景

输入128 token，输出1024 token输入128 token，输出1024 token

优化效果总结：
  • 性能提升：优化后在低并发（1-64个请求）时，TTFT、TPOT和E2E Latency均有小幅降低（约5%-10%），TPS略有提升。中高并发（128-256）时，TPS峰值提升约32%（1155.78 vs 1533.08），延迟增长受控。
  • 并发承载能力：优化后系统对高并发的适应性增强，512个请求时的性能下降幅度减小（TPS从1025.71降至743.02，下降约28%，而优化前无明显峰值）
  • 瓶颈分析：优化后在512个请求时TPS下降，存在资源利用率或通信瓶颈，需进一步优化分布式调度或硬件资源分配。

2. 长文本场景

输入4096 token，输出1024 token输入4096 token，输出1024 token

优化效果总结：
  • 性能提升：优化后低并发（1-32个请求）时，TTFT降低约86%（4177.73ms vs 538.98ms），TPOT降低约27%（34.98ms vs 25.49ms），E2E Latency降低约26%（36274.22ms vs 26615.51ms），TPS提升约36%（28.20 vs 38.44）。高并发（128-512）时，TPS峰值提升约8%（580.92 vs 627.96），延迟增长更平滑。
  • 并发承载能力：优化后系统对长文本的高并发处理能力增强，256-512个请求时性能下降幅度减小。
  • 瓶颈分析：优化后TTFT在高并发（256-512）时仍显著增加，提示长输入的预处理或内存管理可能是瓶颈，需进一步优化KV Cache或输入压缩技术。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

AI智算-DeepSeek-r1:671b性能压测&H100
Kason_iWiki
02-23 1579
继上次结合K8s、SGLang、LWS 等技术栈，完成分布式 DeepSeek-r1 推理集群的部署后，经过几天的实际使用，发现当并发数达到一定阈值时，性能出现下降。为进一步评估和优化集群性能，现对已部署的 DeepSeek-r1 推理集群进行深入的性能压测。选型LLM 性能压测工具经过调研，选择 推理引擎 SGLang 自带的基准测试工具，以及Locust和EvalScope两款成熟的性能测试工具，进行全面的性能评估。官网地址：https://locust.io。
AI智算-K8s+vLLM & Ray：DeepSeek-r1 671B 满血版分布式推理部署实践
最新发布
Kason_iWiki
04-09 373
自从上次发布 【AI-智算】K8s+SGLang实战：DeepSeek-r1:671b满血版多机多卡私有化部署全攻略] 文章后，本次将演示另一个主流推理引擎工具——vLLM，结合K8s、LWS、Ray、Volcano等技术栈，部署DeepSeek-r1 671b 满血版分布式推理集群，并对比其与SGLang推理引擎的性能表现。
DeepSeek + Python 提效测试用例生成落地
weixin_44872675的博客
02-05 3769
通过 DeepSeek 结合自动化测试工具（如 Selenium 或 pytest），将生成的测试用例转化为自动化测试脚本。结合 DeepSeek 的语义分析功能，检查测试用例是否覆盖所有需求，并补充遗漏的测试场景。构建统一的测试用例库，支持整个团队通过 DeepSeek 查询和复用测试用例，减少重复劳动。的能力扩展到测试用例生成场景，并探讨具体的落地实践和可扩展的应用场景。将测试用例与历史缺陷关联，生成针对性用例，确保修复的缺陷不会再次出现。通过关键词提取和语义分析，解析需求文档中的重要信息。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2580
TensorFlow相关组件的安装
62页PPT，初步看懂人工智能！
数据中心运维管理
08-08 1265
来源：鲜枣课堂
23张PPT搞懂DeepSeek核心技术！
QcloudCommunity的博客
02-12 1732
DeepSeek 作为AI 大模型其中的佼佼者，各种突破与创新不断涌现，正引领着人工智能发展的新方向；本文以 PPT 式风格直观呈现技术精髓，深入揭秘 DeepSeek 核心技术。关注腾讯云开发者，一手技术干货提前解锁????今晚7:30还有腾讯云工程师还将现场演示教你 DeepSeek 丝滑部署的 N 种方式，记得预约直播！????DeepSeek 核心技术大揭秘，以 “PPT 式风格” 更好地展现核心技术...
超越GPT-4o！开源大模型DeepSeek满血版部署实战指南
weixin_42042056的博客
02-11 705
自2024年12月DeepSeek发布对标GPT-4o的v3版本以来，其数学与代码推理能力已实现显著超越；而2025年1月推出的r1版本更是在多项基准测试中与GPT-4o的o1版本平分秋色。春节期间，这款国产大模型在技术社区持续刷屏，其爆火背后隐藏着三大核心优势：性能碾压级表现在数学、代码等复杂推理场景中，DeepSeek-v3已实现对GPT-4o的全面超越，而r1版本则与GPT-4o的最新迭代o1形成技术拉锯战。颠覆性成本控制。
AI智算-k8s+SGLang实战：DeepSeek-r1:671b满血版多机多卡私有化部署全攻略
Kason_iWiki
02-23 1455
随着 DeepSeek AI 大模型的崛起，近期私有化部署逐渐成为行业趋势。常见的部署方式之一是使用 Ollama，这对于个人用户和本地开发环境而言，具有较好的兼容性，尤其是支持各种 GPU 硬件和大模型的兼容性，且无需复杂的配置就能够启动。然而，相比于专业的推理引擎，如 SGLang、vLLM，Ollama 在性能上存在一定差距。今天，阿程将介绍如何结合云原生K8s、SGLang、LeaderWorkerSet 和 Volcano 等技术栈，来高效部署分布式 DeepSeek-r1 满血版推理集群。
deepseek r1 量化版本 Vllm 部署运行
AI天才研究院
02-04 6102
如需进一步了解其他工具（如 Ollama 或 LMStudio）的部署方法，可参考相关文档：。
阿里研究院：2024大模型训练数据白皮书.pdf
06-30
《阿里研究院：2024大模型训练数据白皮书》是一份全面分析大模型训练数据领域现状、挑战和未来发展的报告。报告深入探讨了训练数据的来源、质量、标注、安全以及隐私保护等方面，为大模型训练提供了丰富的数据洞察和策略建议。该白皮书不仅总结了当前大模型训练数据的应用现状，还预测了未来数据需求的趋势，并对数据安全和隐私保护提出了重要的思考。
余俊晖-多模态GraphRAG初探文档智能知识图谱大模型结合范式.pdf
04-05
DataFunSummit2025知识图谱峰会嘉宾演讲PPT合集
23张PPT详解DeepSeek核心技术：架构创新与行业应用进展
02-21
内容概要：这篇PPT文档详细介绍并解释了中国本土大语言模型DeepSeek的关键技术和应用前景。首先，概述了DeepSeek的独特特点，如内容token化、无自我意识及上下文长度限定等。接着深入探讨了DeepSeek的核心技术架构及其创新点，例如多模态深度Transformer和支持文本、代码、数学符号的统一理解，MoE（Mixture of Experts）架构以及多层级注意力机制MLR。文档中提到DeepSeek通过架构改进和技术优化实现了低成本训练及高性能推理，在金融、医疗等多个行业中得到了成功的应用。文档同时也分析了DeepSeek的优势——相较于其他国际领先的AI模型，具有更低廉的训练费用和较高的运行效能。文档的最后一部分内容介绍了高效使用DeepSeek的方法及应用场景案例，并指出它不仅能在复杂的工业环境中运用自如。 适合人群：有兴趣深入了解人工智能领域的研究人员和工程师；需要应用深度学习技术的企业和个人。 使用场景及目标：①想要快速了解最前沿的人工智能技术趋势和发展现状；②寻找能够应用于特定领域的先进大模型方案；③希望掌握利用大模型解决问题的有效途径和实践经验。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1560
AI菜鸟向前飞 — LLM简介
2023大模型安全解决方案白皮书
12-06 996
在当今迅速发展的数字化时代，人工智能技术正引领着科技创新的浪潮而其中的大模型技术则被视为人工智能的一大突破。大模型是指参数量巨大能力强大的人工神经网络模型，以其卓越的表现在自然语言处理、计算机视觉、语音识别等领域赢得了持续的关注和青睐。这些模型的出现，不仅在学术界引起了研究者们的广泛兴趣，也在商业应用领域带来了一系列创新和变革大模型技术的崛起，首要得益于深度学习的发展以及硬件计算能力的提升。深度学...
Dify 通过 API 调用 RAGFlow 外部知识库
NLP工程化
11-16 7805
本文使用 Dify v0.10.0+ 和 RAGFlow v0.12.0+ 版本（源码运行）。Dify 中的 RAG 一直被诟病，现在 Dify 提供了外部知识库 API，这样就可以连接到 Dify 之外的知识库并从中检索知识。第一个问题是 API 规范，包括接口格式、输入和输出参数等。第二个问题是哪些外部知识库支持该 API 呢？理论上讲只要支持 API 规范都是可行的。
Ubuntu开源本地化部署Dify+Ollama搭建智能体和工作流
zhangkai1992的专栏
01-01 1059
或者添加国内源,替换下面的URL为国内的镜像地址：：由于国内访问可能较慢，可以使用国内镜像提供的Docker GPG密钥。Docker国内镜像源全部失效的问题。本地寻找一份文件，然后上传。
vllm部署 DeepSeek-R1:70B
02-27
### 如何使用 vLLM 部署 DeepSeek-R1 70B 模型 对于具有较大规模的模型如 DeepSeek-R1 70B 的部署，考虑到其庞大的参数量以及所需的计算资源，建议采用分布式推理的方式来进行部署。基于此需求，在准备阶段需确认硬件环境满足条件，并按照特定配置来设置软件环境。 #### 准备工作 确保服务器配备足够的 GPU 资源支持大模型加载与运行。由于该模型体积庞大，推荐至少拥有多个具备高显存容量（例如 A100 或 H100 类型）GPU 卡的工作站或集群节点用于加速运算过程[^1]。 #### 下载并安装依赖项 通过 `pip` 安装必要的 Python 库以构建适合于处理大规模预训练语言模型的服务端应用： ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118 pip install transformers sentencepiece ``` #### 获取模型权重文件 访问 Ollama 平台上的 Models 页面，定位到目标版本即 DeepSeek-R1 70B 。下载对应架构下的权重文件至本地存储路径 `/app/deepseek/DeepSeek-R1-70B` 中以便后续调用。 #### 补充模型元数据 针对已获取但缺少必要描述信息的情况，可利用 ModelScope 工具完成补充操作： ```bash modelscope download --model deepseek-ai/DeepSeek-R1-70B --exclude *.safetensors --local_dir /app/deepseek/DeepSeek-R1-70B ``` #### 启动量化推理服务 为了提高效率降低内存占用率，可以通过指定 FP8 量化方式启动服务实例；同时调整张量切分数量适应多卡协同作业场景： ```bash vllm serve /app/deepseek/DeepSeek-R1-70B \ --host 0.0.0.0 --port 6006 \ --quantization="fp8" \ --tensor-parallel-size 4 \ --max_model_len 32384 \ --served-model-name deepseek-ai/deepseek-r1:70b ``` 上述命令中设置了主机地址为任意 IP 可达(`0.0.0.0`)、监听端口设为 `6006` ，启用了FP8精度优化选项[--quantization="fp8"]，指定了四个进程间通信单元参与任务分配[--tensor-parallel-size 4]，限定了单次请求最大长度不超过 `32,384` tokens [--max_model_len 32384]，最后给定了一个易于识别的服务名称[--served-model-name deepseek-ai/deepseek-r1:70b][^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值