突破性能瓶颈：DeepSeek 2台 H20推理组网方案揭秘

已于 2025-03-13 10:13:56 修改
阅读量2k 收藏 39
点赞数 41
文章标签： 人工智能 AI编程
于 2025-03-12 19:21:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/agu/article/details/146212778
版权

 概述

随着人工智能技术的迅速发展，许多企业在推理任务上面临越来越大的计算需求。在单台一体机无法满足高并发、大规模推理要求的情况下，DeepSeek 推理解决方案通过多台推理一体机组网协同工作，为企业提供灵活、高效、可扩展的解决方案。通过将多台DeepSeek H20一体机组合成推理集群，企业可以充分利用计算资源，实现高效的推理任务处理，提升业务决策的精准性和响应速度。 下面以2台H20为例来说一说具体组网方案。 

H20  简介

NVIDIA H20 是一款高性能的GPU，专为大规模人工智能推理任务和高吞吐量计算而设计。它基于NVIDIA的最新架构，提供强大的计算能力和优化的推理性能，适用于从深度学习推理到大规模数据处理等多种应用场景。H20搭载NVIDIA的高效计算核心和高速互联技术，能在提供卓越性能的同时，确保能效和可靠性，尤其在处理复杂的AI工作负载时展现出其卓越的优势。

作为一款专注于训练和推理的芯片，H20在大语言模型推理任务上比H100快20%。然而，H20的性能在多个方面受到限制，包括仅提供FP64精度1 TFLOPS（相比H100的34 TFLOPS）和FP16/BF16精度148 TFLOPS（相比H100的1,979 TFLOPS），这导致在带宽和计算速度等关键指标上存在限制，整体算力理论上比H100降低约80%。

我们配置了2台8卡H20 GPU服务器，用于DeepSeek的推理服务，并通过InfiniBand（IB）组网来确保网络性能达到最佳水平。这种组合在提供强大计算能力的同时，还能实现高速、低延迟的数据传输，保障了推理服务的高效性和稳定性。

下面是2台H20服务器的具体配置：

类别详细信息
CPUXEON 8468V *2
内存DDRS 4800 64G * 32
GPUNV HGX H20 8-GPU 96GB
系统盘960G 2.5 SATA SSD * 2
数据盘3.84T 2.5 SATA SSD * 4
磁盘阵列4GB SAS 8 口 Raid 卡
IB 卡（计算）NDR CX7 400G 单口 HCA 卡 * 4
IB 卡（存储）NDR CX7 200G 单口 HCA 卡 * 1
管理网卡10G * 2

其中计算网的IB卡为 400G的 CX7 单口卡。  根据这个卡的型号好端口的速率， 我们知道需要组建 400G的IB网络。 

计算网组网： 

     根据H20机器配备的CX7 400G单口网卡，我们知道需要组建的计算网络为400G的IB网， 因此我们需要型号为 MQM9700-NS2R 的NDR交换机，以及800G的光模块  400G的光模块和400G的mpo光纤。 

下面为需要的组网清单： 

设备名称产品编码描述数量
NDR交换机MQM9700-NS2RNVIDIA Mellanox Quantum 2 based NDR InfiniBand Switch, 64 NDR ports, 32 OSFP ports, 2 Power Supplies (AC), Standard depth, managed, C2P airflow, Rail Kit1
光模块800GMMA4Z00-NSNVIDIA twin port transceiver, 800Gbps,2xNDR, OSFP, 2xMPO12 APC, 850nm MM F, up to 50m, finned4
光模块400GMMA4Z00-NS400NVIDIA single port transceiver, 400Gbps,NDR, OSFP, MPO12 APC, 850nm MMF, up to 50m, flat top8
MPO 光纤MFP7E10-N007NVIDIA passive fiber cable, MMF, MPO12 APC to MPO12 APC, 7m8

其中 NDR交换机 推荐使用  带R 的反向的交换机，这样的好处是 热风不会直接吹在光模块上从而减少光模块的故障率。 型号也需要是9700的不能是9790，9700的交换机是带管理功能的，可以直接在里面开启子网服务。 如果使用9790还需要额外配置UFM才能工作， 费用就会高很多。  MFP7E10-N007 为7米的MPO线 ，只有2台H20的情况下 ，我们是建议 H20和交换机放在同一个机柜或者相邻的机柜， 这样7米的mpo线也足够长度使用的了。   800G光模块是插在9700交换机上的， 400G光模块是用在H20的IB网卡上的。 

下面为计算网的拓扑网络图： 

管理网组网： 

管理网络包括带内和带外，由于H20配置的是10G*2 的网卡， 和一个千兆的BMC管理口。 因此我们需要配置一台万兆的RJ45的交换机。 至于端口数24口和48口都可以， 因为只有2台H20， 如果为了扩的话可以配满48口。  我这里选的是华为的48电口的CE6857F-48T6CQ 交换机。 

下面是管理网络拓扑图

管理网交换机需要上联到数据中心的核心交换机上或者VPM防火墙上。 

存储网络： 

由于只有2台H20的服务器， 存储网络是没有必要配备的， 加本地存储基本也就够用的了， 如果确实需要可以参考计算网络组400G的存储网络， 也可以使用HDR的8700系列的交换机组建200G的存储网络。 这里就不详细展开了 

配置网络： 

 IB网络的配置相对比较简单， 只需要连接到9700的交换机上， 通过命令行打开子网就可以了 。 

步骤1. 通过串口 115200 连接到9700   默认用户名和密码一般都为admin 

步骤2.  修改机器名称

enable

con t

hostname xxx

步骤3. 启动子网

ib sm

步骤4. 保存配置

con w

如果您对此方案感兴趣， 请联系我们。                                      

也可以使用我们的API服务： 
https://api.baystoneai.com

阿古
关注
从零开始：H20服务器上DeepSeek R1 671B大模型部署与压力测试全攻略
Sapphire521的博客
03-05 71
部署和压力测试DeepSeek R1 671B大模型需要合理配置硬件、软件和资源管理工具。通过优化模型加载、并行计算和压力测试，可以确保系统在高负载情况下依然稳定运行。根据测试结果，不断优化性能，以达到最佳的运行效果。如果有具体的步骤或环节需要详细展开，随时可以告诉我，我会进一步补充。
深度剖析：DeepSeek 671B 满血版部署实战与性能优化全攻略
zhangjiaofa的专栏
02-26 584
通过上述理论分析与实验，我们验证了大模型在不同并发下的性能瓶颈。结合DeepSeek模型独有的MLA与MoE架构优势，并利用FP8量化和MTP模块，可充分发挥GPU硬件的性能。在网络方面，可根据不同的网络条件，灵活配置并行策略，以优化整个系统的吞吐。未来，还可通过专家并行、数据并行、冗余专家、通信优化和多微批次重叠等策略进一步提高系统性能，为大规模落地应用提供更为坚实的技术保障。以上便是基于当前理论及DeepSeek系列模型部署实践的完整解读与企业实施方案展望。
GPU 进阶笔记（四）：NVIDIA GH200 芯片、服务器及集群组网
hao_wujing的专栏
12-30 2487
本文粗浅地整理了一些 NVIDIA GH200 相关技术知识。Grace CPU 的测评。
每日DeepSeek之-本地部署Ollama方案
完颜振江
03-03 1323
Deepseek R1 是支持复杂推理、多模态处理、技术文档生成的高性能通用大语言模型。本手册为技术团队提供完整的本地部署指南，涵盖硬件配置、国产芯片适配、量化方案、云端替代方案及完整671B MoE模型的Ollama部署方法。核⼼提示个⼈⽤户：不建议部署32B及以上模型，硬件成本极高且运维复杂。企业⽤户：需专业团队⽀持，部署前需评估ROI（投资回报率）。
九州未来DeepSeek一体机，H20及L40S加持高效部署，安全无忧！
OpenInfra的博客
02-28 279
九州未来DeepSeek一体机，H20及L40S加持高效部署，安全无忧！
8卡H20运行DeepSeek-V3-0324性能和推理实测
最新发布
weixin_53138109的博客
04-02 599
最近在一台 8卡H20 机器上，先后部署了 DeepSeek-R1-AWQ （671B）和最新的 DeepSeek-V3-0324 (685B) ，测试了下性能和数学问题跑分。服务器由火山引擎提供。
DeepSeek 满血版 8卡 H20 141GB 并发压力测试，体验极致性能！
Xsuperzone的博客
03-06 3327
近期我们针对 DeepSeek 满血版 671B 进行了并发性能的测试，搭载的是 8张 NVIDIA H20（单卡显存141GB）的服务器，我们来看看测试结果。
deepseek 671B 版本推理究竟需要什么样的GPU H100, H20, A6000,TRX 4090
weixin_43480227的博客
02-06 1万+
或者 8卡 80G显存的H800. 可以考虑2.51-bit量化版本 预测速度预估20~30TPS (待验证)或者 8卡 40G显存的A6000. 可以考虑2.51-bit量化版本 预测速度预估3~10TPS （待验证）基于8卡 24G 显存的4090 全可以考虑1.58-bit版本，预测速度预估3~10TPS （待验证）基于4/ 8卡96G 显存H20 , 预测速度22tps 8张卡每张卡显存占用30。跟进DeepSeek-R1：动手部署671B模型推理（2.51-bit量化）
推理性能翻倍的秘密：从H20到H800，幻方如何用专家并行改写游戏规则？
CSDN资讯
03-13 6963
DeepSeek不仅撕开了大模型商业化的成本铁幕，更暴露了传统硬件体系在新型推理范式下的深层矛盾——以H20为代表的算力方案，在MoE架构的分布式洪流中，正经历着从性能瓶颈到商业逻辑的全方位冲击。
在家用台式机上部署 DeepSeek-R1：低成本高性能的 CPU 推理方案---不到 4 万元
AI人工智能的学习之路
03-19 847
另外，在使用 CPU 推理时，由于 SIMD 指令集对 8-bit 整数的点积运算有原生支持，更重要的是我们发现 Q4 的思维链平均长度比 Q8 长了 45%，也就是说多输出了 45% 的无效 Token，所以虽然 Q4 生成 Token 速度较快，但完成任务甚至会更慢。DeepSeek-R1 是一种高稀疏度的 MoE（Mixture of Experts）模型，其总参数量高达 671B，但实际推理时采用“按需激活”机制：每层包含 256 个专家（Expert），每次仅激活其中的 8 个专家。
超越GPT-4o！开源大模型DeepSeek满血版部署实战指南
weixin_42042056的博客
02-11 694
自2024年12月DeepSeek发布对标GPT-4o的v3版本以来，其数学与代码推理能力已实现显著超越；而2025年1月推出的r1版本更是在多项基准测试中与GPT-4o的o1版本平分秋色。春节期间，这款国产大模型在技术社区持续刷屏，其爆火背后隐藏着三大核心优势：性能碾压级表现在数学、代码等复杂推理场景中，DeepSeek-v3已实现对GPT-4o的全面超越，而r1版本则与GPT-4o的最新迭代o1形成技术拉锯战。颠覆性成本控制。
DeepSeek R1蒸馏版模型部署的实战教程
热门推荐
herosunly的博客
02-09 4万+
本文主要介绍了DeepSeek R1蒸馏版模型部署的实战教程，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型 3. 运行代码 3.1 启动模型服务 3.2 模型调用
GPU 进阶笔记（一）：高性能 GPU 服务器硬件拓扑与集群组网
hao_wujing的专栏
12-30 3035
Wikipedia 上NVLink上的定义：简单总结：同主机内不同 GPU 之间的一种高速互联方式，是一种短距离通信链路，保证包的成功传输，更高性能，替代 PCIe，支持多 lane，link 带宽随 lane 数量线性增长，同一台 node 内的 GPU 通过 NVLink 以full-mesh方式（类似 spine-leaf）互联，NVIDIA 专利技术。
DeepSeek 2台 H20 推理组网方案
agu的博客
03-11 1145
随着人工智能技术的迅速发展，许多企业在推理任务上面临越来越大的计算需求。在单台一体机无法满足高并发、大规模推理要求的情况下，DeepSeek 推理解决方案通过多台推理一体机组网协同工作，为企业提供灵活、高效、可扩展的解决方案。通过将多台DeepSeek H20一体机组合成推理集群，企业可以充分利用计算资源，实现高效的推理任务处理，提升业务决策的精准性和响应速度。下面以2台H20为例来说一说具体组网方案。NVIDIA H20 是一款高性能的GPU，专为大规模人工智能推理任务和高吞吐量计算而设计。
H20供货告急？DeepSeek私有化部署+满血H20方案，助中小企业抢占AI先机！
qq_56328902的博客
03-03 1119
近日，据《路透社》报道，因国内大厂（腾讯、阿里、字节等）争相囤货，NVIDIA H20 GPU订单激增，导致市场供货紧张。无需依赖云端算力，支持本地服务器部署，数据不出企业内网，满足金融、医疗等高合规行业需求。搭载8张H20（141G显存/卡）+英特尔至强铂金CPU，性能对标顶级集群，价格仅为同类方案的70%！：针对中小企业需求，提供70B轻量级方案（RTX 4090*8），兼顾性价比与性能；），获取专属部署方案，让低成本、高可控的AI生产力，成为企业增长新引擎！，兼顾成本与弹性扩展。：确保算力资源稳定；
AI智算中心-节点内外网络互连方案
12-01 802
AI智算中心网络互联：节点内外方案大揭秘
价格屠夫DeepSeek！这次开卷本地私有化部署；海辛大佬手把手叫你用ComfyUI；一份精彩的深度学习历史回顾；Devv创始人真诚复盘 | ShowMeAI日报
ShowMeAI研究中心
06-20 1万+
日报关键词：🉑DeepSeek开卷本地私有化部署；🉑上海交大 LLM 课程完结；🉑海辛录制的ComfyUI基础视频教程；🉑Devv AI搜索引擎创始人复盘；GenAI设计模式全面指南；🉑深度学习历史回顾… 点击阅读全文
Deepseek671b用H20-141
02-27
### 关于 Deepseek671b 和 H2O-141 的技术信息 对于 Deepseek671b 和 H2O-141 这两个特定的技术或产品，当前的信息较为有限。然而，在北京大学多媒体信息处理重点实验室以及PKU-Anker LLM 实验室的工作中提到的研究进展可能与此类大型模型有关[^1]。 #### Deepseek671b 技术概述 Deepseek671b 可能是指一种具有大规模参数量的语言模型或其他类型的深度学习模型。这类模型通常具备强大的自然语言理解和生成能力，适用于多种高级应用场合，如对话系统、机器翻译等。由于其庞大的规模，该模型可能会面临与 GQA/MQA 等现代高效解码架构的内存共享设计冲突的问题，这会限制内存访问优化的潜力[^2]。 #### H2O-141 技术分析 关于 H2O-141 的具体细节同样不详尽，但从命名推测可能是某个特定版本或是针对某一领域定制化的解决方案。如果这是一个基于水(H₂O)相关的模拟工具或者是某种化学物质，则需要查阅更专业的文献来获取确切的功能描述和技术规格。 为了获得最准确的产品说明和技术文档，建议直接联系制造商或开发者团队索取官方发布的使用手册及相关资料。此外，也可以通过学术数据库和专利库进一步探索这两个项目的背景信息和发展历程。 ```python # 示例代码用于展示如何查询相关资源（假设存在API接口） import requests def fetch_technical_docs(model_name): url = f"https://api.example.com/search?query={model_name}" response = requests.get(url) if response.status_code == 200: return response.json() else: raise Exception("Failed to retrieve documents") try: deepseek_info = fetch_technical_docs('Deepseek671b') h2o_info = fetch_technical_docs('H2O-141') except Exception as e: print(e) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值