GPU基础知识

浮点数

浮点数是一种用于在计算机中表示带有小数部分的实数或具有较大/较小数量级的数值的编码方式。

1. “浮点”的含义

“浮点”（Floating Point）一词源于其小数点的位置不是固定不变的。与定点数（Fixed Point）中小数点位置固定不同，浮点数的小数点可以“浮动”到数字的任何位置，从而表示更大范围的数值。这种浮动通过调整指数来实现。

2. 浮点数的通用结构 (IEEE 754 标准)

根据 IEEE 754 标准，所有浮点数都由以下三部分组成：

• 符号位 (S): 占用 $1$ 比特。表示数值的正负， $0$ 代表正数，$1$ 代表负数。
• 指数位 (E): 决定数值的数量级范围。指数位越长，可表示的数值范围越大。它存储的是一个经过偏移处理的指数值（称为“偏置指数”或“移码”）。
• 尾数位 (M): 决定数值的有效精度。尾数位越长，可表示的有效数字越多，精度越高。尾数通常表示一个介于 $1$（包含）和 $2$（不包含）之间的二进制小数。

浮点数的最终数值 $V$ 可表示为：
$V=(-1{)}^S\times M\times 2^E$

3. 浮点数的常见精度类型

显卡的算力在不同数值精度下表现不同，浮点数精度主要通过指数位和尾数位的长度来区分。

• 双精度 (FP64 / Double Precision):

  • 通常使用 $64$ 比特存储。
  • 提供极高的数值范围和精度（尾数位提供约 $15-17$ 位十进制有效数字）。
  • 适用于科学计算、高性能计算等需要高精度的场景。

• 单精度 (FP32 / Single Precision):

  • 通常使用 $32$ 比特存储。
  • 提供平衡的数值范围和精度（尾数位提供约 $6-9$ 位十进制有效数字）。
  • 广泛应用于图形渲染、通用计算和大部分深度学习训练。

• 半精度 (FP16 / Half Precision):

  • 通常使用 $16$ 比特存储。
  • BF16 (Brain Float 16): 一种特殊的半精度格式，由 Google 和 NVIDIA 优化提出，专为 AI 计算设计。
    • 特点: 其指数位与 FP32 相同（保持相同的数值范围），但尾数位更短（仅 $7$ 位）。
    • 优势: 在深度学习训练中，能够有效抑制梯度爆炸问题，同时显著减少内存占用和计算带宽，适用于大规模模型训练。

• 8位精度 (FP8) / 6位精度 (FP6) / 4位精度 (FP4 / NF4):

  • 这些是更低比特的浮点格式。
  • 特点: 具有极小的内存占用和极高的计算效率。
  • 限制: 目前通常需要特定类型的显卡提供硬件支持，且可能带来更大的精度损失，主要用于推理或量化训练等对精度要求相对较低的场景。

4. 指数位与尾数位的影响

• 指数位越长: 决定了可表示的数值范围（从极小到极大）越广。例如，TP16 的 $8$ 位指数位数使其范围接近 FP32。
• 尾数位越长: 决定了可表示的有效数字数量，即数值的精度越高。例如，FP64 的 $52$ 位尾数提供了 $15$ 位以上的有效数字。

GPU 核心性能参数解析

GPU（图形处理器）是专门为并行计算而设计的芯片，其性能由多个关键参数决定。理解这些参数有助于我们评估 GPU 的能力。

1. 核心数量 (CUDA Cores / Stream Processors)

• 定义: CUDA Cores（对于 NVIDIA GPU）或 Stream Processors（对于其他厂商 GPU）是 GPU 中执行并行计算的基本单元。你可以把它们想象成一个个微型且高度专业的计算工人。
• 作用: 核心数量越多，GPU 的并行处理能力越强。这意味着它能同时处理更多的计算任务。
• 层级结构: 多个 CUDA Cores 和共享内存、寄存器等组成一个 SM (Streaming Multiprocessor，流式多处理器)。多个 SM 共同构成了整个 GPU。 例如，NVIDIA A100 GPU 拥有 $108$ 个 SM，每个 SM 包含 $64$ 个 CUDA Core。

2. 核心频率 (Clock Speed)

• 定义: GPU 核心的工作频率，通常以 MHz（兆赫）或 GHz（吉赫）表示，分为基频和加速频率。
• 作用: 频率越高，GPU 的单线程响应速度越快。这就像工人工作时的速度，频率越高，单个工人单位时间内能完成的工作量越大。
• 影响: 高频率通常会带来更高的功耗（TDP, Thermal Design Power，热设计功耗）和更多的发热。

3. HBM (High Bandwidth Memory) 大小

• 定义: HBM 是 GPU 内部的高带宽内存，它代表了 GPU 可用的显存容量。
• 作用: HBM 提供存储模型数据、计算中间结果以及其他必要数据的空间。
• 影响: 越大的 HBM 有助于处理更大的数据集（例如，训练更大的深度学习模型），并支持更复杂的计算任务。

4. HBM 带宽

• 定义: HBM 带宽指数据在 GPU 和 HBM 之间传输的速度。单位通常是 TB/s（太字节每秒）或 GB/s（吉字节每秒）。
• 作用: 更高的 HBM 带宽可以加快数据访问速度，减少计算时的“瓶颈”（即等待数据传输的时间），从而显著提高整体计算性能。这就像一条数据高速公路，带宽越大，能同时运输的数据量就越多。

5. 计算性能 (FLOPS / OPS)

这代表了 GPU 在不同数据精度下的计算能力，是衡量 GPU 算力的核心指标。

• FLOPS (Floating Point Operations Per Second):

  • 定义: 表示每秒可执行的浮点运算次数。浮点运算主要用于处理带有小数的数字（如科学计算、图形渲染、大部分 AI 模型训练）。
  • 常用精度:
    • FP64 (双精度浮点)
    • FP32 (单精度浮点)
    • FP16 (半精度浮点)
    • FP8/FP6/FP4 (更低精度浮点)

• OPS (Operations Per Second):

  • 定义: 表示每秒可执行的整数运算次数。整数运算主要用于处理整数数据（如某些神经网络的推理阶段、图像处理）。
  • 常用精度: INT8 (8位整数)

• 精度与性能的关系:

  • 数字精度越低（如 FP8 或 INT8），GPU 能够实现的计算性能（FLOPS 或 OPS）通常越高。
  • 原因: 较低精度的数据在硬件上可以更高效地存储和处理，从而实现更高的吞吐量。这非常适用于那些需要快速处理大量数据（例如神经网络推理）的任务。

6. NVLink 带宽

• 定义: NVLink 是英伟达（NVIDIA）开发的一种高速互连技术。它专为 GPU 之间的高速通信而设计，允许多个 GPU 之间直接、快速地交换数据。
• 作用: 更高的 NVLink 带宽意味着多个 GPU 之间可以更快地共享数据。这对于分布式计算（即一个大型计算任务被分解到多个 GPU 上并行处理）至关重要。
• 影响: 在需要多 GPU 协作的场景（如训练超大型深度学习模型、多 GPU 并行科学模拟）中，高 NVLink 带宽能够显著提高分布式计算的效率，减少数据传输造成的性能瓶颈。

7. 功耗 (Powers)

• 定义: 功耗指的是 GPU 在运行时所消耗的电能，通常以瓦特（W）为单位。它反映了 GPU 工作时的能量需求。
• 作用: 功耗高低通常与 GPU 的计算能力和复杂程度正相关。一般来说，功耗越高的 GPU，其内部集成的晶体管数量越多，核心频率和并行计算能力也越强，因此能够进行更多的复杂计算。
• 影响: 高功耗的 GPU 需要：
  • 更好的散热设计: 因为消耗的电能大部分会转化为热能，需要高效的散热系统来防止过热，确保稳定运行和寿命。
  • 更强的供电设计: 需要主板和电源提供足够稳定的电力供应，以满足其高能耗需求。

Tensor Core 和 CUDA Core：GPU 的两大核心计算单元

在 NVIDIA 的 GPU 中，存在两种主要的计算核心，它们各自承担不同的计算任务，但又协同工作，共同提升 GPU 的整体性能。

1. CUDA Core：通用计算单元

• 定义: CUDA Core 是 NVIDIA GPU 中最基础、最通用的并行计算单元。你可以把它想象成一个**“全能型工人”**，能够执行各种类型的计算任务。
• 功能特点: 它适合多样化和并行化任务，是 GPU 进行通用计算的基石。无论是图形渲染、科学计算、数据分析，还是深度学习中的非矩阵乘法部分，CUDA Core 都能处理。
• 角色: 它是一个全面发展的多面手，负责处理控制逻辑和标量运算（即单个数值的运算）。

2. Tensor Core：专用加速单元

• 定义: Tensor Core 是 NVIDIA GPU 中专门为矩阵乘法（Matrix Multiplication）优化设计的加速单元。你可以把它想象成一个“矩阵乘法专家”。
• 功能特点: 它显著提升了AI 计算的效率，尤其是在深度学习中频繁使用的GEMM (General Matrix Multiply) 运算。
• 角色: 它是偏科大神，专注于最耗费计算资源的矩阵乘法。

3. 它们之间的关系与性能差异

在显卡的参数列表中，针对 AI 任务：

• 性能优势: 使用 Tensor Core 技术可以对特定数值精度（尤其是低精度，如 FP16、BF16、TF32）的矩阵乘法进行优化，从而带来极大的性能提升。
• 算力对比: Tensor Core 的吞吐量（即单位时间内的计算量）可达 CUDA Core 的数十倍。
  • 示例: 例如，A100 GPU 使用 Tensor Core 在 TF32 精度下能提供高达 $312$ TFLOPS 的性能，而 CUDA Core 在 FP32 精度下仅为 $19.5$ TFLOPS。这个巨大的差距体现了 Tensor Core 在特定任务上的专业优势。

4. 使用场景不同

• Tensor Core 的使用场景:
  • 训练大型模型时启用混合精度: 主要用于深度学习模型的训练阶段，特别是结合 FP16 (半精度)、BF16 (Brain Float 16) 或 TF32 (TensorFloat32) 等混合精度模式，以加速训练过程。
  • 推理加速: 也可以用于深度学习模型的推理阶段，例如通过 TensorRT 优化后的模型，以实现更快的预测速度。
• CUDA Core 的使用场景:
  • 游戏渲染: 在传统图形渲染中扮演核心角色，尤其是在需要较低延迟的 FP32 计算的场景。
  • 传统 HPC (高性能计算): 适用于各种通用科学计算和工程仿真任务，如流体模拟、物理模拟等。

5. 现代 GPU 的协同工作

最近推出的 GPU（例如 NVIDIA 的 Ampere 和 Hopper 架构）都同时包含 CUDA Core 和 Tensor Core。

• 分工合作:
  • CUDA Core: 负责处理控制逻辑和标量运算（例如循环、条件判断、单个数值的加减乘除等）。
  • Tensor Core: 专门加速核心的矩阵计算（例如神经网络中的层运算）。

这种设计使得 GPU 既能进行广泛的通用计算，又能针对 AI 和高性能计算中最核心、最耗时的矩阵运算进行极致加速，从而实现整体性能的最大化。

算力计算：理解 GPU 理论峰值性能

这里以 NVIDIA A100 GPU 为例，展示如何通过其核心参数来计算理论峰值算力。理解这个计算公式有助于我们量化 GPU 的浮点运算能力。

算力计算的构成要素：

计算 GPU 的理论峰值算力，主要需要以下几个核心参数：

1. CUDA 核心数:

   • 定义: 这是 GPU 内执行并行计算的基本单元数量。数量越多，并行处理能力越强。
   • 示例 (A100): $6912$ 个 CUDA 核心。这 $6912$ 个核心分布在 $108$ 个 SM (Streaming Multiprocessor，流式多处理器) 中，每个 SM 包含 $64$ 个 CUDA 核心（$108\times 64=6912$）。

2. 核心运行频率 (Clock Speed):

   • 定义: GPU 核心的工作速度，通常以 GHz（吉赫兹）表示。频率越高，单位时间内可以执行的计算指令越多。
   • 示例 (A100): $1.41$ GHz。这意味着 GPU 核心每秒可以进行 $1.41\times 10^9$ 个时钟周期。

3. 每核心单周期浮点计算系数:

   • 定义: 这个系数表示每个 CUDA 核心在一个时钟周期内能够执行的浮点运算次数。
   • 示例 (A100): $2$。这意味着在每个时钟周期内，一个 CUDA 核心可以执行 $2$ 次浮点运算。
   • 背景说明: 这里的 $2$ 是因为现代 GPU 的设计，特别是其 Tensor Core 融合了乘加指令（FMA，Fused Multiply-Add）。FMA 指令在一个周期内执行一次乘法和一次加法，这可以被视为两次浮点运算。

算力计算公式：

GPU 的理论峰值算力（这里特指 FP32 单精度浮点算力）可以通过以下公式计算：

$$A100\text{的算力(FP32单精度)}=\text{CUDA核心数}\times \text{核心运行频率}\times \text{每核心单周期浮点计算系数}$$

实际计算（以 A100 为例）：

将 A100 的具体数值代入公式：

$$6912\text{ (CUDA核心数)}\times 1.41\text{ (GHz)}\times 2\text{ (每核心单周期浮点计算系数)}$$

$$=19491.84\text{ GFLOPS}$$

• 单位转换: GFLOPS（Giga Floating Point Operations Per Second，十亿次浮点运算每秒）
• 进一步转换: $1$ TFLOPS（Tera Floating Point Operations Per Second，万亿次浮点运算每秒） $=1000$ GFLOPS。

所以，A100 的 FP32 理论峰值算力为：

$$19491.84\text{ GFLOPS}\approx 19.5\text{ TFLOPS}$$

这个计算展示了 GPU 的算力是如何由其硬件设计（核心数量）、工作速度（频率）和核心的计算效率（每周期计算次数）共同决定的。了解这个公式能帮助我们理解 GPU 性能指标的来源，并在不同型号的 GPU 之间进行算力比较。需要注意的是，这是理论峰值算力，实际应用中的性能还会受到内存带宽、软件优化、驱动程序等多种因素的影响。

GPU 型号命名规则与架构解析

面对 NVIDIA GPU 型号如 A100、H100、L40、B200 等，初学者可能会感到困惑。理解其命名规则和架构，就能很好地把握这些型号的定位和特性。

GPU 芯片的型号命名通常遵循一套逻辑，结合了架构名称和系列编号。

1. 架构名：GPU 芯片的核心代号

GPU 芯片通常会使用历史人物的名字进行命名，这些名字代表了该 GPU 的核心架构。不同的架构代表了不同的技术进步、设计理念和性能特点。代表型号通常会取架构代号的首字母，再加上系列标识。

• Ampere (安培):

  • 发布时间: $2020$ 年推出的一代架构。
  • 代表产品: 用于 NVIDIA A100 系列 GPU（如 AI/数据中心领域）和 RTX $3000$ 系列显卡（如消费级游戏显卡）。
  • 特点: 在 Ampere 架构中，NVIDIA 引入了第三代 Tensor Core，并显著提升了 FP32 性能。

• Lovelace (阿达洛夫莱斯):

  • 发布时间: $2022$ 年推出的一代架构。
  • 代表产品: 用于 RTX $4000$ 系列显卡，例如 RTX $4090$。
  • 特点: Lovelace 架构进一步提升了光线追踪和 DLSS 性能，并优化了能效比，主要面向高端游戏和内容创作。

2. 系列编号：产品定位与性能层级

在产品名称中，数字通常表示该产品的层级或代系，帮助用户识别其性能高低和发布代次。

• 例如: RTX $4090$ 中的 “$4090$” 表示该产品是该系列（RTX $40$ 系列）的最高端型号。数字越大，通常代表性能越强或代次越新。

3. 典型型号示例与架构关联

理解了架构名和系列编号，我们就能更好地理解不同型号的 GPU 的定位：

• L40:

  • 架构: 基于 Ada Lovelace 架构（与 RTX $4000$ 系列游戏卡同架构）。
  • 定位: 是一款高性能计算 GPU，主要用于数据中心和云计算服务。它继承了 Lovelace 架构在处理图形和 AI 推理方面的优势，但针对服务器环境进行了优化。

• A100:

  • 架构: 基于 Ampere 架构。
  • 定位: 是一款专门为深度学习和高性能计算设计的 GPU，被广泛应用于AI 训练任务以及其他数据中心工作负载。它是 Ampere 架构在数据中心领域的旗舰产品。

• RTX 3090:

  • 架构: 属于 Ampere 架构。
  • 定位: 主要用于游戏和高性能图形处理，强调游戏性能。它是 Ampere 架构在消费级游戏显卡中的高端型号。

架构代号 (英文名)	中文名称	发布时间	制程工艺	代表型号	核心特点
Tesla	特斯拉	2006	90nm/65nm	G80, GT200	NVIDIA 早期的通用计算 GPU 架构。
Fermi	费米	2010	40nm	GTX 480, Quadro 7000	增强了通用计算能力，引入了 ECC 内存支持。
Kepler	开普勒	2012	28nm	K80, K40M	专注于通用计算，提升了科学计算性能，推出了面向高性能计算的 Tesla K 系列。
Maxwell	麦克斯韦	2014	28nm	GTX 980, M5000	显著提升了每瓦性能（能效比），优化了图形渲染效率。
Pascal	帕斯卡	2016	16nm	P100, GTX 1080 Ti	首次引入 HBM 内存技术，推出了 NVIDIA P100（首款支持 FP16 半精度浮点运算）用于 HPC/AI，以及 GTX 1080 Ti 高性能游戏卡。
Volta	伏特	2017	12nm	V100, Titan V	首次引入 Tensor Core，极大加速了深度学习训练和推理，是 AI 计算领域的里程碑式架构。
Turing	图灵	2018	12nm	RTX 2080 Ti, T4	首次引入 RT Core（光线追踪核心）和第二代 Tensor Core，支持实时光线追踪和 DLSS（深度学习超级采样），催生了 RTX 系列游戏卡和 T4 这样的推理卡。
Ampere	安培	2020	7nm/8nm	A100, RTX 3090	引入第三代 Tensor Core，显著提升 FP32 性能，并支持 TF32 精度，是数据中心 AI 训练和高端游戏领域的旗舰架构。引入了 NVLink 3.0。
Hopper	霍珀	2022	4nm	H100	专为大规模 AI 和 HPC 工作负载设计，引入第四代 Tensor Core，支持 FP8 精度，提供极致的 AI 训练和推理性能。引入了 NVLink 4.0。
Ada Lovelace	阿达洛夫莱斯	2022	5nm	L40, L40s, RTX4090	引入第三代 RT Core 和第四代 Tensor Core，大幅提升光线追踪和 DLSS 3.0 性能，同时优化能效比，主要面向高端游戏和专业内容创作。
Blackwell	布莱克威尔	2024	4nm/5nm	B200, GB200	新一代 AI 和 HPC 架构，预计将进一步提升 AI 训练和推理能力，并引入新的加速技术和互联方式（如第二代 Transformer Engine 和 NVLink 5.0）。

超级芯片：CPU 与 GPU 的深度融合

“超级芯片”是 NVIDIA 提出的一种创新计算单元，旨在通过将 CPU 和 GPU 深度整合，并利用 NVLink 高速互联技术进行连接，从而重构 AI 计算的性能和效率。

核心理念

• 深度整合 CPU+GPU 异构计算单元： 这意味着它不仅仅是将 CPU 和 GPU 简单地放在一起，而是通过高速互联技术让它们更紧密地协同工作，发挥各自优势。
• 重构 AI 计算的性能之光： 通过这种整合，旨在突破传统架构的瓶颈，为 AI 计算（特别是大规模 AI 模型）提供前所未有的性能。
• 典型代表:
  • GH200: 采用 Hopper 架构的 GPU（H200）与 Grace CPU 结合。
  • GB200: 采用 Blackwell 架构的 GPU（B200）与 Grace CPU 结合。

硬件架构主要两部分

1. Grace CPU:

   • 架构: 基于 ARM 架构的 NVIDIA 自研 CPU。
   • 设计理念: 专为高能效比设计，这意味着它在提供强大计算能力的同时，能耗相对较低。
   • 关键特性: 支持高带宽内存和纠错能力（ECC），这对于确保数据完整性和处理大规模数据集至关重要。
   • 任务分工: 主要负责数据预处理、逻辑控制和通用任务。它是整个系统的“大脑”，协调和管理计算流程。

2. GPU 算力单元:

   • 功能: 提供大规模并行计算能力。
   • 任务分工: 专注于AI 训练、推理以及科学计算等高度并行的计算密集型任务。它是整个系统的“肌肉”，负责执行大量的重复计算。

3. 互联技术：NVLink-C2C (Chip-to-Chip):

   • 核心: 这是连接 Grace CPU 和 GPU 的关键技术。
   • 特点: 实现 CPU 与 GPU 之间超高带宽的连接。与传统的 PCIe 互联方式相比，NVLink-C2C 能显著降低通信延迟。这意味着数据在 CPU 和 GPU 之间传输速度极快，且等待时间极短，从而避免了数据传输成为性能瓶颈。

典型配置

超级芯片的配置通常是将一个 Grace CPU 和多个 GPU 结合在一起：

• GB200: $1$ 颗 Grace CPU + $2$ 颗 Blackwell B200 GPU。
• GH200: $1$ 颗 Grace CPU + $2$ 颗 Hopper H200 GPU。

为什么需要超级芯片？

这种 CPU+GPU 深度整合的超级芯片设计，是为了解决传统计算架构在大规模 AI 和 HPC 任务中面临的挑战，主要有以下两点优势：

1. CPU+GPU 协同计算：

   • 分工明确: Grace CPU 负责通用的任务调度和复杂的逻辑处理，而 GPU 则专注于其擅长的大规模并行计算。
   • “1+1>2”的算力聚合: 通过 NVLink 实现超低延迟的数据交换，CPU 和 GPU 能够更紧密、更高效地协作，形成比单独使用 CPU 和 GPU 简单堆叠更强大的算力聚合，达到“1+1>2”的效果。

2. 统一内存架构：

   • 数据共享: Grace CPU 与 GPU 共享内存空间，而不是各自拥有独立的内存并需要频繁复制数据。
   • 效率提升: 这种统一内存架构减少了数据搬运的开销（即避免了 CPU 和 GPU 之间重复的数据拷贝），从而大幅提升了整体计算效率。

超级芯片代表了计算架构向着更紧密、更高效的 CPU 与 GPU 融合方向发展，旨在为未来更大规模、更复杂的 AI 和高性能计算任务提供强大的基础。

超级节点 Super Pod：单机即集群的高性能计算架构

“超级节点 Super Pod”是 NVIDIA 提出的一种高性能计算架构，其核心理念是实现单机即集群 (Single-Node Cluster)。它通过极致地集成 CPU、GPU 和高速互联技术，将传统上需要多台服务器协同完成的任务，压缩到单个物理节点内完成。

核心目标

• 消除跨节点通信开销: 传统集群中，不同服务器（节点）之间的数据传输会产生显著的延迟和开销。超级节点通过将所有计算资源紧密集成在一个物理单元内，基本消除了这种节点间的通信瓶颈。
• 实现超低延迟和高吞吐计算: 由于数据传输路径极大缩短，并且带宽极高，超级节点能够实现极低的计算延迟和极高的数据吞吐量，这对于处理大规模、复杂且对时延敏感的 AI 和 HPC（高性能计算）任务至关重要。

核心特点

1. 超大规模单节点算力:

   • 集成: 在一个超级节点内部，集成了数百个 CPU 核心和多颗顶级 GPU。
   • 典型配置: 例如，它会集成 NVIDIA 的 Grace CPU（基于 ARM 架构，为高能效比设计）和 Hopper 或 Blackwell 架构的 GPU，这些都是当前最先进的计算单元。
   • 意义: 这种集成提供了一个前所未有的单节点计算能力，能够独立处理极其庞大的计算任务。

2. 统一内存架构:

   • 内存共享: CPU（Grace）与 GPU 共享内存空间。
   • 典型示例: 例如，GH200 超级芯片内部就拥有约 $480$GB 的 HBM3（高带宽内存第三代），这部分内存可以被 CPU 和 GPU 共同访问。
   • 优势: 这种设计能够避免数据搬运瓶颈。在传统架构中，CPU 和 GPU 各自拥有独立内存，数据需要在两者之间来回复制，效率低下。统一内存则大大减少了这种开销，提升了数据访问效率和整体性能。

3. 全 NVLink 互联:

   • 连接方式: 芯片间（即 CPU 与 GPU 之间，以及 GPU 与 GPU 之间）通过 NVLink-C2C (Chip-to-Chip) 技术进行直接连接。
   • 性能指标: 提供高达 $900$GB/s 以上的超高带宽，且通信延迟仅为纳秒级别。
   • 意义: 这种极致的互联性能确保了所有计算单元之间的数据流动极为顺畅和迅速，是实现单节点内高效并行计算的基石。

超级芯片 Superchip 在超级节点中的角色

“超级芯片”（如 GH200 或 GB200，即 Grace CPU 与多颗 GPU 的组合）在一定程度上就可以被视为一台高性能计算机，或者说是一个完整的计算节点。NVIDIA 正是基于这些“超级芯片”的架构，构建了适用于不同领域的超级计算机产品。

• DGX (AI 数据中心): 这是 NVIDIA 面向数据中心推出的 AI 超级计算机系列，用于大规模深度学习训练和高性能数据分析。
• EGX (边缘计算): 针对边缘侧的 AI 计算需求，提供高性能、低延迟的边缘计算平台。
• HGX (超大规模集群): 为构建更大规模的 GPU 集群提供基础模块，支持构建数千乃至上万颗 GPU 的巨型 AI 超级计算机。

超级节点 Super Pod 是一种通过深度集成和高速互联技术，将多个高性能计算单元（CPU 和 GPU）聚合在一个物理单元内，从而实现极致单节点算力、超低延迟和高吞吐量的高性能计算架构，旨在满足最严苛的 AI 和 HPC 应用需求。

GPU 算力扩展：Scale-up 与 Scale-out

随着大型模型的参数规模越来越大，模型训练和推理对算力的需求也越来越高。这不仅仅是增加 GPU 的数量，更关键的是如何高效地让这些 GPU 协同工作。在多 GPU 之间以及多计算节点之间，主要有两种互联互通的方式来扩展算力：

1. 纵向扩展 Scale-up（单机多卡）： 在一个物理节点内部连接多张 GPU。
2. 横向扩展 Scale-out（多机多卡）： 连接多个计算节点组成集群。

1. 一机多卡纵向扩展 Scale-up

• 实现方式: 在单个服务器内部，通过 NVLink 或 NVSwitch 等高速互联技术将多个 GPU 互联起来，形成统一内存池。

• 极致性能体现: 这种方式是单节点内实现极致性能的技术。

  • 示例: NVIDIA DGX H100 节点就是典型代表，它在一个节点内部将 $8$ 颗 H100 GPU 通过 NVLink 进行全互联，共享显存带宽可高达 $7.2$ TB/s。

• 优势:

  • 突破单卡算力限制: 能够支持单个节点运行万亿参数甚至更大的巨型模型，因为它汇聚了多颗 GPU 的显存和算力。
  • 降低通信开销: GPU 之间的数据交换无需经过传统的 PCIe 总线，直接通过 NVLink 进行高速通信，延迟可以降低 $10$ 倍以上。这对于深度学习训练中频繁的数据同步和梯度交换至关重要。
  • 简化开发: 通过 CUDA 自动优化，开发者可以像操作单个 GPU 一样调用多个 GPU 资源，降低了多 GPU 编程的复杂性。
  • 适用场景: 适合需要高吞吐量的单个复杂任务，例如大型模型的单次训练迭代。

2. 多机多卡横向扩展 Scale-out

• 实现方式: 通过高速网络互联技术（如 InfiniBand 或以太网）连接多个计算节点（每节点含多颗 GPU），构成分布式算力池。

• 网络技术: 使用 NVIDIA Quantum-2 交换机或 Spectrum-X 以太网平台构建无损网络，确保数据传输的可靠性和效率。

• 软件优化: 软件层面通过 NCCL (NVIDIA Collective Communications Library) 和 Magoo 10 等工具进一步优化跨节点通信效率，减少数据传输延迟。

• 优势:

  • 无限算力扩展: 支持构建千卡级甚至万卡级的 GPU 集群。
  • 典型示例: 英伟达的超级计算机 Eos 就包含了 $4608$ 颗 H100 GPU，堪称地表最快，展示了横向扩展的巨大潜力。
  • 任务并行化: 可以将一个复杂的任务拆解到多个节点上并行执行，例如分布式训练、多物理场景仿真等。
  • 资源隔离与弹性: 提供资源隔离和弹性调度能力，可以按需分配计算资源。
  • 支持混合负载: 能够同时运行 AI 训练和推理等不同类型的计算任务，提高了集群的利用率和灵活性。
  • 适用场景: 适合需要超大规模模型训练、大型分布式计算需求，以及需要处理大量并行任务的场景。

---

• Scale-up 关注单节点内部的极致性能和低延迟，适用于无法拆分或需要高度紧密协作的单一大型任务。
• Scale-out 关注算力的无限扩展和任务并行化，适用于需要聚合海量算力来处理超大规模问题或同时运行多个任务的场景。

这两种扩展方式通常是结合使用的，通过构建包含多个“一机多卡”超级节点的“多机多卡”集群，从而实现最大化的 AI 和 HPC 算力。

好的，我们来清晰、有逻辑有条理地解析一下这份“Scale-up 和 Scale-out 比较”表格，让您一眼看懂这两种扩展模式的异同和应用场景。

---

Scale-up 与 Scale-out 比较：GPU 算力扩展的两种策略

在高性能计算和 AI 领域，为了满足不断增长的算力需求，GPU 算力扩展是关键。主要有两种策略：**Scale-up（纵向扩展）**和 Scale-out（横向扩展）。下表详细对比了它们的特点：

维度	Scale-up (纵向扩展)	Scale-out (横向扩展)
通信效率	单节点内 NVLink (延迟 < $1$µs, 带宽 TB 级)	跨节点 InfiniBand (延迟约 $5$µs, 带宽 $400$Gbps)
适用并行方式	张量并行、流水线并行、小规模数据并行	数据并行、跨节点流水线并行、混合并行
显存利用率	共享显存池，支持超大参数层	依赖分布式显存，需结合模型切分策略
扩展上限	单节点物理限制 (如 $8$卡/$16$卡)	理论上无限扩展 (如 NVIDIA Eos 的 $4608$ H100)
典型场景	单任务高吞吐 (训练/推理)、显存密集型计算	超大规模预训练、多任务混合负载、弹性资源分配

核心解析与对比：

1. 通信效率：

   • Scale-up: 优势在于极低的通信延迟和极高的带宽。通过 NVLink 在单个节点内部直接连接 GPU，延迟低于 $1$ 微秒（µs），带宽达到 TB 级别。这就像在同一栋房子里打电话，速度快且无障碍。
   • Scale-out: 跨节点通信通过 InfiniBand 等高速网络，虽然延迟比单节点内高（约 $5$µs），带宽也相对低一些（如 $400$Gbps），但在分布式系统中已属顶尖水平。这就像跨城市打电话，虽然有距离，但仍然很快。

2. 适用并行方式：

   • Scale-up: 更适合张量并行（将单个大张量拆分到不同 GPU）、流水线并行（将模型层拆分到不同 GPU）和小规模数据并行。这些并行方式通常需要 GPU 之间进行频繁、低延迟的通信。
   • Scale-out: 主要应用于数据并行（将不同数据批次分配到不同节点），也支持跨节点流水线并行和混合并行。它更擅长处理可以被分解成相对独立子任务的场景。

3. 显存利用率：

   • Scale-up: 由于 GPU 之间通过 NVLink 形成共享显存池，它能够更好地支持超大参数层的模型。这意味着即使单个 GPU 显存不足，但整个节点内所有 GPU 的显存可以像一个大显存一样被利用。
   • Scale-out: 每个节点仍有独立的显存，因此处理超大模型时需要结合复杂的模型切分策略，将模型参数分布到不同的节点上。

4. 扩展上限：

   • Scale-up: 受限于单个物理节点的硬件设计，通常有物理上限（例如一个服务器机箱内最多能安装 $8$ 卡或 $16$ 卡 GPU）。
   • Scale-out: 理论上可以实现无限扩展，通过增加更多的计算节点来堆叠算力，构建出像 NVIDIA Eos 那样包含数千颗 H100 GPU 的超级计算机。

5. 典型场景：

   • Scale-up: 适用于单任务高吞吐的需求，例如训练或推理非常庞大但需要高内通信效率的单个模型，或显存密集型计算任务。
   • Scale-out: 适用于超大规模模型的预训练、多任务混合负载（同时运行多个不同任务）和弹性资源分配，即根据需求动态增加或减少计算节点。

实际应用中的策略：

在实际应用中，Scale-up 和 Scale-out 通常是协同工作的：

• Scale-up + 张量/流水线并行: 主要解决单节点内显存与计算效率问题。它特别适合高密度任务，例如需要将单个巨型模型拆分到多颗 GPU 上进行训练或推理的场景。
• Scale-out + 数据/混合并行: 主要突破算力与数据规模限制。它支持超大规模训练，通过在多个节点上并行处理数据或模型的不同部分，实现传统单节点无法完成的计算。

简而言之，Scale-up 旨在在一个框里做到极致，而 Scale-out 旨在通过横向扩展构建一个更大更强的分布式系统。两者结合，才能应对未来最严苛的 AI 和高性能计算挑战。

Scale-up 与 Scale-out 的协同：分层互联，构建超大规模计算平台

在实际应用中，Scale-up（纵向扩展）和 Scale-out（横向扩展）并不是相互独立的，而是通过 NVIDIA 平台的分层互联架构实现两种扩展模式的无缝结合。这是一种层级化设计，旨在最大化计算效率和扩展性。

分层互联架构的构成

这种协同工作模式可以分解为三个主要的互联层级：

1. 第一层：节点内（GPU 互联）

   • 技术: NVLink 互联 GPU。
   • 目标: 这一层级专注于最大化单节点算力密度。通过 NVLink 在单个服务器内部将多颗 GPU 直接连接起来，实现 GPU 之间的高速、低延迟通信和统一内存访问。这是 Scale-up 的核心体现。
   • 作用: 解决单节点内显存与计算效率问题，适合高密度任务。

2. 第二层：机柜内（节点互联）

   • 技术: 通过 NVSwitch 或 Quantum-2 互联多个节点。
   • 目标: 这一层级旨在构建机柜级算力单元。例如，NVIDIA 的 DGX Superpod 就是这种架构的典型代表，它在一个机柜内部集成了多个 DGX 节点（每个节点都包含多颗 NVLink 互联的 GPU）。NVSwitch 作为一个大型的互联设备，可以连接机柜内的所有 GPU 或节点，进一步提升机柜内部的通信效率。
   • 作用: 将多个单节点 Scale-up 单元聚合，形成更大的计算模块，为更复杂任务提供算力。

3. 第三层：跨机柜（集群互联）

   • 技术: 通过 Spectrum-X 或 InfiniBand 网络扩展至超大规模集群。
   • 目标: 这一层级实现了真正的 Scale-out。它将多个机柜或 Superpod 单元通过高速、低延迟的外部网络连接起来，构建成一个庞大的分布式计算集群。
   • 作用: 突破单一机柜的物理限制，支持超大规模模型训练和多任务混合负载，提供几乎无限的算力扩展能力。

这种协同架构的技术优势

• 通信效率最大化:

  • 局部优化: 大部分数据（通常超过 90%）的交换都发生在节点内部通过 NVLink 完成，这部分的通信延迟极低、带宽极高。
  • 最小化跨节点通信: 只有少量的数据（通常仅 $10\%$ 左右）需要在跨节点进行通信。这种分层优化策略显著降低了整体通信开销，确保了数据传输不再是性能瓶颈。

• 灵活部署:

  • 统一架构: 提供从“单机多卡 (Scale-up)”到“多机多卡 (Scale-out)”的统一架构。
  • 降低迁移成本: 这种统一性使得开发者和用户可以根据需求，在不同规模的部署之间进行灵活扩展和迁移，而无需从根本上重新设计计算流程或软件架构，从而显著降低了部署和迁移成本。

NVIDIA 的这种分层互联架构通过 NVLink 和 NVSwitch 在节点/机柜内部实现极致的 Scale-up，再通过 InfiniBand/Spectrum-X 在机柜之间实现大规模的 Scale-out。这种设计不仅提供了无与伦比的计算性能和扩展性，而且通过优化数据流和简化部署流程，为当前和未来的 AI 和高性能计算任务提供了强大的基础设施。

GPU 选择的综合考量：性能、能耗与成本的平衡

为了达到最佳的性能、能耗和成本平衡，GPU 的选择应根据具体使用场景进行综合权衡。以下是几个关键的考量因素：

高 HBM 大小和带宽

• 定义: HBM（高带宽内存）的大小指的是 GPU 显存的容量，而带宽则是数据在 GPU 核心与显存之间传输的速度。
• 重要性: 高 HBM 容量和带宽，配合 GPU 强大的 FLOPS/OPS（浮点/整数运算每秒）计算能力，能够显著提升 GPU 处理数据的能力。
• 优势: 在训练深度学习模型时，尤其当模型规模巨大、数据量庞大时，HBM 的性能表现尤为突出。更大的显存可以容纳更大的模型和数据集，更高的带宽则能确保数据快速送达计算核心。
• 示例: 例如，最新的 B100/B200 系列 GPU 配备了高达 $8$ TB/s 的 HBM 带宽，这相较于 H100 系列有了几个档次的显著提升，能够更高效地处理超大规模数据。

NVLink 带宽

• 定义: NVLink 是 NVIDIA 专有的高速互联技术，用于在多个 GPU 之间或 GPU 与 CPU 之间进行直接、低延迟的数据通信。
• 重要性: NVLink 带宽直接决定了多个 GPU 协作时的效率。
• 优势: 在需要多个 GPU 协同工作的场景中（如大规模并行计算、训练巨型 AI 模型等），NVLink 带宽越高，越能够帮助减少数据传输瓶颈。高带宽意味着 GPU 之间可以更快地交换梯度、同步数据，从而加速分布式训练和推理过程。

FP16 与 FP8 等较低精度的计算能力

• 定义: FP16（半精度浮点）和 FP8（8位浮点）是相对于 FP32（单精度浮点）等较高精度而言的低精度数据格式。
• 重要性: 较低精度的计算能力相比 FP32 等较高精度会有显著提升。
• 优势:
  • 效率高: 较低精度的数据在硬件上可以更高效地存储、传输和计算。
  • 资源需求少: 降低精度可以减少显存占用和带宽需求。
  • 速度快: 能够实现更快的计算速度。
• 适用场景: 这对于神经网络推理等对精度要求相对宽松但追求快速且资源较少的运算需求尤为有利。在训练某些大型模型时，混合精度训练（结合 FP16/BF16 和 FP32）也能在保证精度的前提下提升训练速度。
• 示例: H100 和 H200 GPU 的 FP8 用于推理场景，可以实现更快的计算速度，因为推理阶段通常对数值精度要求不如训练阶段那么高，但对延迟和吞吐量有更高要求。

在选择 GPU 时，没有一刀切的最佳方案。需要根据你的具体应用场景来决定：

• 如果你的任务是训练超大规模模型，并且数据非常庞大，那么高 HBM 大小和带宽是首要考虑。
• 如果你需要多颗 GPU 协同工作来训练或推理巨型模型，那么高 NVLink 带宽至关重要。
• 如果你的任务主要是神经网络推理，或者可以通过混合精度训练来加速，那么重点关注 GPU 在 FP16 或 FP8 等低精度下的计算能力，因为它们能提供更高的吞吐量和能效。

通过综合考量这些因素，选择出最适合你特定需求，并在性能、能耗和成本之间达到最佳平衡的 GPU 解决方案。