一文就够——算力参数详解及国内外算力整理（截止2024.11）

已于 2024-12-10 09:11:45 修改
阅读量1.5w 收藏 65
点赞数 69
分类专栏： 智算中心 文章标签： linux 云计算 人工智能 gpu算力
于 2024-12-09 17:56:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59292545/article/details/144341935
版权

前言

        当我们谈论人工智能（AI）计算和显卡性能时，经常会接触到一系列复杂的技术参数。这些参数对于非专业人士来说可能显得有些晦涩难懂，但它们实际上是衡量显卡在AI任务中表现的关键指标。为了帮助大家更好地理解这些参数，本文将对常见的参数进行详细的解释和梳理。

        文末附最新国内外算力整理（统计截至2024.11）

目录

前言

一、算力参数详解

1. 性能参数精度

2. GPU Memory和GPU Memory Bandwidth

2.1 GPU Memory (GPU显存)

2.1.1 GDDR (Graphics Double Data Rate)

2.2.2 HBM (High Bandwidth Memory) 

2.2 GPU Memory Bandwidth (GPU显存带宽)

3. GPU互联技术（Interconnect）

二、算力详细数据表--截止2024.11

1. NVIDIA算力

2. 国产算力

3. NVIDIA架构演进

一、算力参数详解

如下图是NVIDIA 官方给出的H100芯片参数信息，我们在选购或者了解芯片时要关注以下参数指标：

1. 性能参数精度

在高性能计算和深度学习领域，算力性能参数精度是衡量处理器执行数学运算能力的重要指标。下面是每个参数的解释及其应用范围：

  • FP64 (Double Precision Floating Point): 双精度浮点数，提供最高的数值精度。适用于科学计算、工程模拟、金融分析等需要高精度计算的领域。
  • FP64 Tensor Core: 专门用于深度学习的双精度张量核心，可以加速特定类型的矩阵乘法运算。适用于需要双精度计算的深度学习训练和推理。
  • FP32 (Single Precision Floating Point): 单精度浮点数，平衡了计算速度和精度。广泛应用于游戏、图形渲染、深度学习训练和推理等。
  • TF32 Tensor Core: NVIDIA特有的一种浮点格式，旨在提供接近FP64的动态范围和FP32的精度，同时提高性能。适用于深度学习训练和推理，特别是在需要较高动态范围但不需要完全FP64精度的场景。
  • BFLOAT16 Tensor Core (Brain Floating Point Format): 一种16位浮点格式，常用于深度学习，因为它在保持足够精度的同时，可以提高内存带宽和计算效率。适用于深度学习训练和推理，尤其是在大规模神经网络中。
  • FP16 Tensor Core (Half Precision Floating Point): 半精度浮点数，提供比FP32更高的计算密度，适用于深度学习训练和推理，尤其是在模型较大或数据量较大时。
  • FP8 Tensor Core: 八位浮点数，提供比FP16更高的计算密度，但精度更低。适用于对精度要求不高的深度学习推理任务，如某些类型的神经网络层。
  • INT8 Tensor Core: 八位整数，用于整数运算，适用于需要整数计算的深度学习任务，如量化神经网络，可以减少模型大小和提高推理速度。

        一般各大数据中心以及设备算力统计以整机8卡FP16算力（flops 稠密）为主。

2. GPU Memory和GPU Memory Bandwidth

        GPU Memory（图形处理器内存）和GPU Memory Bandwidth（图形处理器内存带宽）是衡量图形GPU性能的两个重要参数。下面我将分别解释这两个概念：

2.1 GPU Memory (GPU显存)

        GPU Memory 是指专门用于GPU的数据存储区域，通常位于GPU芯片旁边或集成在同一个封装内。它的主要作用是为GPU提供高速数据访问，存储渲染图像所需的纹理、帧缓冲、顶点数据等信息。由于这些数据需要频繁地被GPU读取和写入，因此GPU Memory的设计目标是尽可能减少延迟并提高数据传输速率。

        与计算机系统的主内存（RAM）相比，GPU Memory具有更高的速度和更低的延迟，这是因为GPU对内存带宽的需求远高于CPU，尤其是在处理图形密集型任务时。常见的GPU Memory类型包括GDDR(Graphics Double Data Rate) ，HBM (High Bandwidth Memory)等，每一代新技术都会带来更高的带宽和更低的功耗。

2.1.1 GDDR (Graphics Double Data Rate)

特点

  • 传统平面布局：GDDR内存芯片是焊接在GPU周围的PCB板上的，这种布局虽然不如HBM紧凑，但更容易扩展和更换。
  • 较高的单引脚数据速率：GDDR6每引脚的数据速率为16Gb/s，而最新的GDDR6X则达到了21Gb/s，这意味着在相同的总线宽度下，它可以提供更高的带宽。
  • 成本效益：GDDR内存的成本相对较低，适合大规模生产和广泛应用，尤其是在消费级市场。
  • 灵活性：由于GDDR内存模块独立于GPU，因此可以根据需要轻松调整内存配置，比如增加更多的内存芯片来扩大总容量。

最新型号

  • GDDR6：这是当前最广泛使用的GDDR标准，支持高达16Gb/s的每引脚数据速率，适用于多种高性能显卡，如NVIDIA RTX 6000 Ada和AMD Radeon PRO W7900。
  • GDDR6X：作为GDDR6的继任者，GDDR6X采用了PAM4编码方式，将每引脚带宽提高到了21Gb/s，目前主要用于高端专业应用，例如NVIDIA的某些型号。
  • GDDR7：这是下一代GDDR标准，预计将提供更高的带宽和更好的能效，不过截至2024年底，它还没有被广泛采用。
2.2.2 HBM (High Bandwidth Memory) 

特点

  • 堆叠式设计：HBM采用垂直堆叠多个DRAM芯片的方式，通过TSV（Through Silicon Via）技术将这些芯片连接起来，从而大大减少了信号路径长度，降低了延迟，并提高了能效。
  • 更高的总线宽度：每个HBM堆栈通常包含8个128位通道，总的内存总线宽度可以达到1024位或更高，这使得它能够提供极高的数据传输速率。
  • 集成度更高：HBM内存直接位于GPU封装内部，减少了通信距离，进一步降低了延迟，并且由于其紧凑的设计，可以在有限的空间内实现更大的内存容量。
  • 更低的功耗：相比GDDR，HBM在相同带宽的情况下消耗更少的电力，这对移动设备和数据中心等对能效有严格要求的应用非常重要。

最新型号

  • HBM3：这是目前最先进的HBM标准，如NVIDIA H100 GPU中使用的HBM3，提供了5120位的总线宽度和超过2TB/s的内存带宽。AMD的Instinct MI300X也使用了HBM3，拥有8192位的总线宽度和超过5.3TB/s的内存带宽。
  • HBM3e：这是HBM3的增强版本，预计会带来更高的密度、更大的带宽、更低的工作电压和成本。NVIDIA在其GH200和H200加速器中引入了HBM3e，进一步提升了性能。

GDDR内存和HBM内存都有其优点和缺点。GDDR内存更便宜，对于需要高带宽但不需要绝对最高性能的应用程序来说是一个不错的选择。另一方面，HBM内存更昂贵，但提供更高的带宽，是需要高性能的应用程序的不二之选。在这两种类型的内存之间进行选择时，重要的是要考虑场景和成本。

2.2 GPU Memory Bandwidth (GPU显存带宽)

GPU Memory Bandwidth指的是单位时间内可以从GPU Memory中读取或写入的数据量，通常以每秒千兆字节（GB/s）为单位来衡量。它对于GPU性能至关重要，因为高带宽意味着GPU可以更快地获取所需的数据，从而更高效地完成渲染任务。

带宽计算公式通常是： Memory Bandwidth=Memory Clock Rate×Bus Width/8Memory Bandwidth=Memory Clock Rate×Bus Width/8

  • Memory Clock Rate（内存时钟频率）：这是GPU Memory的工作频率，决定了数据传输的速度。
  • Bus Width（总线宽度）：这是连接GPU和其内存之间的数据通道的宽度，决定了每次可以传输多少数据。例如，256位总线一次可以传输32字节的数据（256/8=32），而128位总线则只能传输16字节。

高带宽有助于减少瓶颈，特别是在处理大型数据集或进行复杂的图形运算时。比如，在4K分辨率下玩游戏或者运行深度学习模型训练时，高带宽的GPU Memory可以显著提升性能，因为它能够快速供给大量数据给GPU进行处理。

综上所述，GPU Memory和GPU Memory Bandwidth都是评价GPU性能的关键指标，前者决定了GPU可以处理的数据量，后者则影响了数据传输的速度。选择合适的GPU时，考虑到这两方面的平衡是非常重要的。

3. GPU互联技术（Interconnect）

GPU服务器按照GPU芯片之间的互联方式可分为两类：

1、PCIE机型：最常规的GPU服务器，GPU间通过PCIE链路进行通信，受限于PCIE带宽上限，卡与卡双向互联带宽低于Nvlink机型，所以在大模型训练方面效率低于SXM机型。

2、Nvlink机型：也叫SXM机型，指的是在服务器内部，GPU卡之间通过Nvlink链路互联，相比PCIE带宽更高，更适合于大模型训练场景。

PCIe：

PCIe全称为Peripheral Component Interconnect Express，是一种计算机总线标准，用于在计算机内部连接各种设备和组件（例如显卡、存储设备、扩展卡等）。PCIe接口以串行方式传输数据，具有较高的通信带宽，适用于连接各种设备。尽管其设计旨在使所有硬件设备能够高效地与计算机的CPU进行通信，但在连接高性能计算设备时可能会受到带宽的限制。

PCIe SpecificationData Rate (Gb/s) (Encoding)x16 BW per dirnYear*
1.02.5 (8b/10b)32 Gb/s2003
2.05.0 (8b/10b)64 Gb/s2007
3.08.0 (128b/130b)126 Gb/s2010
4.016.0 (128b/130b)252 Gb/s2017
5.032.0 (128b/130b)504 Gb/s2019
6.064.0 (PAM-4, Flit)1024 Gb/s2022
7.0128.0 (PAM-4, Flit)2048 Gb/s2025**

NVLink：

NVLink是由NVIDIA开发的一种高速、低延迟的专有连接技术，主要用于连接NVIDIA图形处理器（GPU）。它提供了高带宽和低延迟的直接GPU间通信能力，适用于需要大量数据传输和低延迟通信的高性能计算和AI应用。例如，第四代NVLink的数据传输速度可达到每秒900GB，这是传统PCIe 5.0带宽的7倍多。

分析对比

参数PCIeNVLink
优点1. 通用性强：适用于连接各种设备和组件，包括显卡、存储设备、网络卡等。
2. 可扩展性强：支持多个设备同时连接，并通过总线架构进行数据传输。		1. 高带宽、低延迟：提供更高速的连接和数据传输，显著提高GPU之间的数据传输速度和性能。
2. 协同计算：支持直接GPU之间的数据共享和通信，实现更高效的协同计算。
缺点1. 带宽限制：基于总线架构，多个设备共享总线带宽，可能导致带宽限制。
2. 延迟增加：数据在总线上传输可能引入一定的传输延迟。		1. 专有性：由NVIDIA开发，只适用于连接NVIDIA的GPU。
2. 可扩展性：与PCIe相比，连接数量和扩展能力有限。

二、算力详细数据表--截止2024.11

根据第一部分给出的算力参数详解，对照如下表格查看国内外不同显卡的详细数据，可以看出英伟达在基础算力的巨大领先优势

1. NVIDIA算力

官网链接：NVIDIA Data Center GPU Resource Center

2. 国产算力

以下为自行查找整理

3. NVIDIA架构演进

码字及数据整理不易，如有观点or数据错误，请指出！感谢您的点赞！

常见GPU算力（4090&4090D，AD102-300&AD102-250）
qq_45351564的博客
02-01 6135
支持的数据类型有 FP8、FP16、BF16、TF32、INT8、INT4，不支持 FP64。启用稀疏计算（2:4 模式）加速后，在神经网络权重中，强制每 4 个连续元素中至少 2 个为零，Tensor Core 硬件自动跳过零值计算，有效吞吐量翻倍。注意到，完整 AD102 核心有 12 组 GPC，每组 GPC 包含 6 组 TPC，单个 TPC 中含有两个 SM 单元，因此完整 AD102 核心共有 144 个 SM 单元，但 AD102-300 只开启其中的 128 个。
NVIDIA 显卡算力 统计表
weixin_NineDays66
10-20 6921
显卡性能介绍
N卡 英伟达Nvidia 显卡及其计算能力（Compute Capability）表
最新发布
weixin_52582710的博客
03-10 695
某些库或软件对显卡算力有要求，可参考下表核对。比如：AWQ量化模型不支持算力小于7.5的显卡。
NVIDIA GPU 运算能力列表
热门推荐
凌风探梅的专栏
03-16 10万+
FROM：https://developer.nvidia.com/cuda-gpus CUDA GPUs NVIDIA GPUs power millions of desktops, notebooks, workstations and supercomputers around the world, accelerating computationally-i
常见GPU算力比较（X100计算卡，GX100）
qq_45351564的博客
02-06 565
* 第一项为 Tensor Core 计算 FP8、FP16、BF16、TF32 时的加速频率，第二项为 Tensor Core 计算 FP64 和 CUDA Core 计算 FP32、FP64 时的加速频率。* 4090 的 AD102-300 核心中每个 SM 单元中有 128 个 CUDA 计算单元，其中 64 个 CUDA 可以计算 FP32 或 INT32，另外 64 个只能计算 INT32。取 A100 80GB PCIe 的算力为 100%1、CUDA Core 算力。
常见GPU算力（5090&5090D，GB202-300&GB202-250）
qq_45351564的博客
02-02 2188
注意到，完整 GB202 核心有 12 组 GPC，每组 GPC 包含 8 组 TPC（4090 的 AD102 中是 6 组），单个 TPC 中含有两个 SM 单元，因此完整 GB202 核心共有 192 个 SM 单元，但 GB202-300 只开启其中的 170 个。每个 SM 单元中有 4 个 Tensor Core，因此 GB202-300 总共含有 680 个 Tensor Core。支持的数据类型有 FP8、FP16、BF16、TF32、INT8、INT4、FP6、FP4，不支持 FP64。
显卡对应的算力arch=compute_
eric_sun_000的博客
03-06 2267
编译openCVwithCUDA时，遇到的compute_XX问题
NvidiaGeForce系列显卡算力表（sm表）
guangqianzhang的博客
01-11 1万+
更新于2024.1.11。
2024年最新：一文看懂英伟达显卡B100、H200、L40S、A100、A800、H100、H800、V100如何选择，附架构技术和性能对比
m0_71832273的博客
04-04 9210
Ampere 架构的 GPU 采用了多个[流多处理器]（SM）和更大的总线宽度，提供了更多的 CUDA Core 和更高的频率。而受到影响较大的还是 NVlink 上的削减，但是因为架构上的升级，虽然比不上同为 Hopper 架构的 H100，但是比 ampere 架构的 A800 还是要强上不少的。NVIDIA 通常用最小的运算单元表示自己的运算能力，CUDA Core 指的是一个执行基础运算的处理元件，我们所说的 CUDA Core 数量，通常对应的是 FP32 计算单元的数量。
算力对决：华为与英伟达算力卡全方位剖析
yan1915766026的博客
02-05 6175
华为在算力卡领域的布局以昇腾系列为核心，构建了一套完整且极具竞争力的产品线。昇腾系列涵盖了多种型号，其中昇腾 910 系列面向云端大规模训练场景，凭借其强大的算力和卓越的性能，成为数据中心进行深度学习模型训练的有力武器，广泛应用于科研机构、大型互联网企业等进行 AI 大模型的研发与训练；昇腾 310 系列则侧重于边缘计算和推理场景，在智能安防、智能交通等领域发挥着关键作用，能够在边缘设备上实现快速、高效的推理计算，满足实时性要求较高的应用场景。
显卡性能总结-持续更新
weixin_44077556的博客
01-09 2070
NVIDIA A100 单精度FP32指令吞吐 64 FLOPS/Cycle ，核心运行频率为 1.41GHz ，SM 数量为108 ，Tensor Core里面的是融合乘加指令，所以一次指令执行会计算2次（一次乘法一次加法），因此会乘以2。FLOPs：(Floating point operations)缩写,末尾的s表复数，意指浮点运算数，理解为计算量, 主要用来衡量算法/模型的复杂度，比如YOLOv11n模型的FLOPs大概为6.4x10^9。性能较低，适合基本的图形处理任务，如办公和视频播放。
【一文读懂】大语言模型
weixin_52836217的博客
11-29 1363
介绍了目前最火的大语言模型，一文带你理解大语言模型相关基础知识。
大模型/ChatGPT/AIGC、论文审稿、具身智能、RAG等11大系列集锦
2401_86435672的博客
09-26 1677
学术论文GPT的源码解读与二次开发：从ChatPaper到gpt_academic// 待更…
【无标题】
sscc001的博客
02-10 673
自2024年7月微软在GitHub上开源了基于图的检索增强生成（RAG）系统——GraphRAG以来，该项目迅速获得了开发者的广泛关注。短短几个月内，GraphRAG在GitHub上的星标数已经突破19000颗，成为目前最热门的RAG框架之一。GraphRAG是一种基于图的知识检索增强技术，它结合了知识图谱的广泛知识表示能力和大语言模型（LLM）的生成能力。与传统的RAG方法相比，GraphRAG通过构建知识图谱和社区层次结构，显著提升了复杂信息处理的能力。什么是GraphRAG？GraphRAG的优势。
【亚马逊】应用科学家Applied Scienist暑期实习
华鑫的专栏
04-24 1395
攒人品挂的挺快的，但是感觉被KPI了1.不用自我介绍，直接提问（我嗅到了KPI面的气息）2.问了两个。本人985本材料专业，贵州人，现在签了上汽五菱的研发岗，还有一个offer是长沙的中联重科，对象留在。两家工作强度差不多，军工国企的话离家近，跟女朋友在一个公司，每年还有一万多左右的补贴，中兴离家和女朋。考研二战寄，双非一本，hr说是目标院校，机考分数386，面的开发，技术面手撕给的一道简单题，13个人。这是我的简历，投了好多实习，都没人理我啊啊啊啊啊，没一个人喊我面试，我真的好菜啊，除了算法岗，我还可。
收藏！2024年GPU算力最新排名
ToB行业资讯站
07-29 1万+
​GPU（图形处理单元）算力的提升是驱动当代科技革命的核心力量之一，尤其在人工智能、深度学习、科学计算和超级计算机领域展现出了前所未有的影响力。2024年的GPU技术发展，不仅体现在游戏和图形处理的传统优势上，更在跨行业应用中开辟了新的可能性。
算力共享解决方案
ZJQ的博客
07-05 1582
解决方案概述： 本算力共享解决方案旨在构建一个去中心化、安全可靠、高效灵活的算力交易平台，让算力供需双方能够自由交易，促进算力资源的最大化利用。
世上最全NVDIA GPU参数列表： H100，H200、 A100， A800，V100，3090，4090， 5090等性能参数
xxxx的博客
11-23 7万+
而据英伟达的说法，新的 A800 可以替代 A100，两者都是 GPU（图形处理单元）处理器。芯片经销商 OMNISKY 容天官网介绍的英伟达 A800 GPU 信息显示，新的芯片数据传输速率为每秒 400GB，低于 A100 的每秒 600GB，代表了数据中心的性能明显下降。NVIDIA A100 GPU采用全新Ampere安培架构的超大核心GA100，7nm工艺，542亿晶体管，826平方毫米面积，6912个核心，搭载5120-bit 40/80GB HBM2显存，带宽近1.6TB/s，功耗400W。
GPU算力对照表
tfshaonian的博客
05-27 4332
https://developer.nvidia.com/zh-cn/cuda-gpus#compute
显卡算力排名2024
07-23
显卡算力排名通常由各大科技评测机构和硬件制造商依据GPU的性能指标，如浮点运算速率(FLOPS)、内存带宽、能效比等来衡量。截至2023年，NVIDIA和AMD是显卡市场的两大巨头，其旗舰产品系列例如NVIDIA的Ampere架构(如RTX 3090)和AMD的RDNA 2架构(Radeon RX 6800 XT)拥有较高的性能。 然而，由于技术更新迅速，特别是随着新一代显卡的发布（比如NVIDIA的Hopper或AMD的CDNA 3），到2024年的显卡排名可能会发生变化。具体的2024年显卡排行榜尚未公布，届时会受到新的GPU架构、游戏优化以及市场策略等因素的影响。 如果你想了解2024年的详细排名，建议关注专业的IT媒体网站，他们会实时更新和分析最新的GPU评测数据。同时，你可以通过GPU-Z这类工具查看当前显卡的性能参数，但官方正式排名通常会在新品发布后才会出炉。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值