一图看透：910B、H20、A100、H100、H200性能对比！

最新推荐文章于 2025-04-06 19:39:40 发布
最新推荐文章于 2025-04-06 19:39:40 发布
阅读量4.5k 收藏 9
点赞数 11
文章标签： 人工智能 深度学习 transformer pytorch 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42068614/article/details/146016873
版权

写在前面

小弟最近需要去购买一些服务器，但是网上的一些显卡性能感觉都是大抄特抄，根本没有具体到显卡的型号，所以本人去Nvidia的官方文档记录了一些数据

PS：华子的910B网上找不到官方数据，智能靠口口相传了

主流服务器GPU性能

项目

910B

H20 HGX

A100 HGX

H100 SXM

H200 SXM

架构

-

Hopper

Ampere

Hopper

Hopper

发布时间

2023

2024

2020

2022

2024

GPU内存

64GB

96GB

80GB

80GB

141GB

GPU内存带宽

-

4.0TB/s

2039GB/s

3.35TB/s

4.8TB/s

TF32（TFLOPS）

-

74

156

989

989

FP16（TFLOPS）

320*

148

312

1979

1979

BF16 (TFLOPS)

-

148

312

1979

1979

INT8 (TOPS)

640*

296

624

3958

3958

INT4（TOPS）

-

-

1248

-

-

  • *表示数据来源于网络，并非官方文档
  • SXM（Scalable Link Interface）是一种用于数据中心和超级计算机的高带宽、低延迟的接口标准，支持更高的功率和更高的带宽。SXM卡通常插入到支持NVIDIA SXM接口的服务器或工作站中。
  • NVL（NVIDIA Link）是一种适配卡，主要设计用于与 NVIDIA DGX 系列服务器和其他云计算平台配合工作。它的接口通常与标准的 PCIe插槽兼容，可以更容易地集成到现有的企业和云计算架构中
  • HGX就是使用的SXM接口

其实对于我们训模型来说，主要关注FP16、BF16、INT8的速度即可，其他的性能我觉得都不太重要。

模型所需显存

  • 模型权重占用：在BF16精度下，1B模型所需显存约为2G，即70B的模型大约需要140G显存
  • 前向计算开销：通常在模型权重的20%左右（经验估算）
  • 对于一个72B的模型，推理所需的显存为2*72*1.2=172.8G
  • 不同的框架所需显存会略有差别，如vllm使用KV Cache加速推理，本质上是用显存换取时间

下面是一些模型估算的显存占用

模型

需要显存

Qwen2.5 72B-Inst.

172.8G

R1-Distill-Qwen-32B

76.8G

R1-Distill-Qwen-14B

33.6G

R1-Distill-Qwen-7B

16.8G

极智芯 | 解读NVIDIA特供芯H20 对比国产Ascend910B 性能水平如何
极智视界
02-29 2726
大家好，我是极智视界，本文分享一下 解读NVIDIA特供芯H20 对比国产Ascend910B 性能水平如何。希望我的分享能对你的学习有一点帮助。
NVIDIA H100 与 H200：全面比较
iCloudEnd的博客
10-19 1298
NVIDIA 的 GPU 已从单纯的图形渲染工具发展成为能够处理复杂 AI 任务、科学模拟和数据分析的强大处理器。基于 Hopper 架构的 H100 一经推出便改变了游戏规则，为 AI 工作负载提供了前所未有的性能。H200 在此基础上构建，引入了有望重新定义现代计算功能的增强功能。
0171-极智芯-解读NVIDIA特供芯H20对比国产Ascend910B
06-05
0171_极智芯_解读NVIDIA特供芯H20对比国产Ascend910B
深度解析：H200等紧缺显卡性能对决
HPC_Evan的博客
03-13 1285
随着Deepseek的火爆，英伟达的5090、4090、A100、A800、H100、H800、H200、H20等显卡越来越紧张，这些显卡在配置服务器的时候有什么区别？以下是基于最新行业数据与多源信息整合的英伟达显卡（包括RTX 5090、4090、A100、A800、H100、H800、H200、H20）在服务器配置中的深度对比分析，涵盖核心参数、应用场景及市场现状。H100（700W）较A100（400W）性能提升3倍，但单位算力功耗降低15%
一文搞懂H100/H200，B100/B200，B200/GB200，HGX/DGX的区别和参数
中国充电平台开源领域“第一人” 李文慧 国内知名开源工作者 全栈工程师 华为云最具价值专家
10-15 7274
B200和B100都是基于英伟达最新一代Blackwell架构的数据中心GPU，英伟达目前的市场策略是以B200为主，从整体参数上，两者除了显存的规格一致，其他的不同精度的算力、功率有所不同，具体可以见下图，供参考，可以看到B100的TDP是700W，有传言说是为了兼容现有H100的服务器平台（机头）做的设计，但是从综合性能上B200更优，比如FP16算力是H100的2倍以上，同时TDP也提升到了单卡1000W，所以B200的服务器平台需重新设计，与H100的不兼容了。2、认识HGX和DGX。
A100、H100、H800、H20等多种显卡配置对比
Jamence的博客
02-22 3410
相较于PCIe接口，具备提供更高的带宽和更低的延迟，更好的稳定性和可靠性，常用于高性能计算和数据中心。在显卡配置中，PCIe一般指PCIe接口，是服务器实现IO扩展的关键，PCIe接口除了用于插PCIe的GPU卡外，也可以广泛用于Raid卡、网卡、HBA卡等。常见的显存类型，具有较高的带宽和较低的延迟，适用于大多数显卡，如NVIDIA的GeForce系列和AMD的Radeon系列显卡。NvLink和SXM其实说的都是一个东西，NvLink是从互联的角度说的， SXM是从板子上面接口的角度说的。
英伟达GB200、B200、H200、H100、A100、4090的参数对比
2402_84466582的博客
11-07 1万+
高容量显存：H200是H100的升级款产品，主要升级了GPU显存。采用了HBM3e显存技术，显存容量和带宽都有所提升，为AI和高性能计算提供了更强的支持。先进封装工艺：英伟达Blackwell系列是第一个使用台积电CoWoS-L封装工艺的芯片，GB200作为该系列的一员，具有出色的性能和功耗表现。高容量显存：RTX 4090配备了GDDR6X显存，提供了快速的数据传输速度，满足高端游戏和图形处理的需求。高性能存储：A100配备了高容量的HBM2e显存和高速的数据传输接口，提供了强大的存储和数据处理能力。
一文看懂英伟达A100、H100、A800、H800、H20
本人程序员，不需要做任何吹嘘，只是实在写点程序，写点文档，熟悉各类主流框架，SSM，SpringBoot，Flask，Djiango，Mysql，Sqlite，VUE，Uniapp等，各类程序设计专家，优质作者
02-18 4768
想要Deepseek私有化部署吗？无论是训练大型AI模型，还是进行高性能计算（HPC），还是Deepseek私有化部署，都需要强大的GPU支持。而英伟达（NVIDIA）作为全球领先的AI芯片制造商，推出了一系列高性能GPU，包括等，广泛应用于AI训练、推理、科学计算等领域。如果想搭建一个属于自己的算力中心，该如何选择合适的GPU？本文将带你详细了解这些GPU的特性，并指导你如何搭建算力中心。一、英伟达算力GPU系列解析1. A100：数据中心AI计算的奠基石：Ampere：6912：432。
“华为Ascend 910B AI芯片挑战NVIDIA A100：效能比肩，市场角逐加剧“
存储随笔
06-11 6763
如此高性能低功耗的表现，吸引了包括腾讯、百度在内的多家中国领先企业采用，用于会议任务，显示出市场对华为AI芯片的广泛接纳，同时对NVIDIA的AI芯片市场份额构成实质性的冲击。华为自主研发的人工智能芯片——Ascend 910B，近期在世界半导体大会及南京国际半导体博览会上由华为ICT基础设施管理委员会执行董事、主任王涛发表声明称，该芯片在训练大规模语言模型时的效率高达80%，与NVIDIA的A100相比毫不逊色，且在具体测试性能上更是超出NVIDIA A100 AI GPU约20%之多。
GPU 学习笔记一：从A100与910B分析中，学习GPU参数的意义。
汝飞@大模型 的博客
10-27 6563
A100芯片，承袭英伟达技术精髓，不仅深度学习AI性能出众，更在图像处理及通用计算领域展现卓越性能，全面领先行业。910B芯片，专为神经网络芯片NPU设计，具备超大矩阵与高带宽内存系统，矩阵运算与流水并行处理能力卓越。在深度学习场景中，尤其在GEMM计算上，其性能表现尤为突出。由于行业技术封锁，国内芯片在制程工艺上尚有欠缺，910B采用7nm技术，落后于4nm技术，910B功耗400W，落后于A100的300W，这就使得国内芯片集成度和能效低于国外，还有较大提升空间。
一文搞懂最新NVIDIA GPU满血版和阉割版芯片：A100、H100、A800、H800、H20的差异
热门推荐
u013891230的博客
02-18 1万+
Ampere 架构的 GPU 采用了多个流多处理器（SM）和更大的总线宽度，提供了更多的 CUDA Core 和更高的频率。Ampere 架构的 GPU 还具有更高的内存容量和带宽，适用于大规模的数据处理和机器学习任务。它们还将支持PCIe 5.0，成为首批实现这一转变的消费级GPU，不过我们还需观察这一支持是否覆盖所有Blackwell GPU，还是仅适用于RTX 5090。这些GPU主要面向中国客户，如阿里云、腾讯云、百度云等云计算厂商，性能稍逊于A100和H100，但仍然具备极高的计算能力。
英伟达系列显卡大解析B100、H200、L40S、A100、A800、H100、H800、V100如何选择，含架构技术和性能对比带你解决疑惑
m0_66323401的博客
01-24 2150
E4M3 支持动态范围更小、精度更高的计算，而 E5M2 可提供更宽广的动态范围和更低的精度。与 A100 相比，H100 中新的第四代 Tensor Core 架构可使每时钟每个 SM 的原始密集计算和[稀疏矩阵]运算吞吐量提升一倍，考虑到 H100 比 A100 拥有更高的 GPU 加速频率，其甚至会达到更高的吞吐量。而受到影响较大的还是 NVlink 上的削减，但是因为架构上的升级，虽然比不上同为 Hopper 架构的 H100，但是比 ampere 架构的 A800 还是要强上不少的。
H20 GPU算力评估分析
08-06 1万+
H20算力秘密: GPU算力评估
深度解析：NVIDIA GPU全系对比，从消费级到数据中心级的性能大比拼
数据中心全生命周期价值管理
03-14 2869
本文将对H20、H100、H200、H800、A100、A800、L20、L40、RTX 3090、RTX 4090等热门型号进行全面对比分析
AI 芯片深度解析：从英伟达 A100 到昇腾 910B 的技术跃迁与国产突围
weixin_47231119的博客
03-14 1804
在生成式 AI 与大模型浪潮的推动下，全球算力需求正以每 3.5 个月翻倍的速度增长。作为算力基础设施的核心载体，AI 芯片已成为科技竞争的战略制高点。本文将深入剖析英伟达 A100/A800/H800 与华为昇腾 910B 等主流芯片的技术特性及产业影响。
AI部署架构：A100、H100、A800、H800、H20的差异以及如何选型？开发、测试、生产环境如何进行AI大模型部署架构？
最新发布
架构师尼恩
04-06 1422
AI部署架构：A100、H100、A800、H800、H20的差异以及如何选型？开发、测试、生产环境如何进行AI大模型部署架构？
和H100相比，英伟达的H20、L20 和 L2 芯片性能如何？
u013250861的博客
03-11 4425
据媒体最新报道，英伟达即将推出至少三款新的AI芯片，包括 H20 SXM、PCIe L20 和 PCIe L2，以替代被美国限制出口的H100。这三款芯片均基于Hopper GPU 架构，最高理论性能可达296TFLOP（每秒浮点运算次数，也叫每秒峰值速度）。几乎可以肯定的是，这三款AI芯片均是H100的“阉割版”或“缩水版”。也有媒体称，不过，英伟达已经做出这三款芯片的样品，H20 和 L20预计将于今年 12 月推出，而 L2将于明年 1 月推出。产品采样将于发布前一个月开始。
H20跟A100的性能对比
02-13
### H20 和 A100 的性能对比 #### 浮点运算能力 H20 单卡训练的关键算力相比 A100 大幅下降，在不同精度下的表现如下： - **FP64 (双精度浮点)**：H20 的性能大约只有 A100 的 10%[^2]。 - **FP32 (单精度浮点)**：H20 达到 A100 性能的大约 40%。 - **TF32 Tensor Core / FP32**：H20 表现接近于 A100 的 50% 左右。 #### 整数运算能力和张量核心性能 对于整型数据处理以及特定类型的矩阵乘法加速，两者之间的差距同样显著： - **INT8**: H20 实现了 A100 约 40% 的效率。 - **FP16 Tensor Core**: 同样保持在 A100 的 40% 水平上。 这些差异反映了美国出口管制政策下硬件设计上的限制措施。尽管如此，考虑到当前市场环境和技术发展状况，H20 对于许多应用场景而言仍然是一个可行的选择，尤其是在资源受限的情况下寻求性价比平衡时。 ```python import matplotlib.pyplot as plt # 定义性能指标名称及其对应的百分比提升 performance_metrics = ['FP64', 'FP32', 'TF32 TC/FP32', 'FP16 TC', 'INT8'] h20_performance_percentage = [10, 40, 50, 40, 40] plt.bar(performance_metrics, h20_performance_percentage) plt.xlabel('Performance Metrics') plt.ylabel('Percentage of A100 Performance (%)') plt.title('Comparison Between NVIDIA H20 and A100 on Various Precision Levels') for i in range(len(h20_performance_percentage)): plt.text(i, h20_performance_percentage[i], str(h20_performance_percentage[i])+'%', ha='center', va='bottom') plt.show() ``` 此图展示了相对于A100的不同计算模式下H20所达到的具体比例，直观体现了两者的性能区别。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小火汁猛猛

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值