GPU 选型指南

根据 GPU 架构的不同，可分为以下几类：

1. NVIDIA Volta 架构

代表型号： V100

• 配备第二代 Tensor Core，是较早支持深度学习的 GPU，仍适用于部分训练任务。
• 性能特点：相比后续架构，V100 的训练性能相对较低，尤其在处理大规模 Transformer 模型时不如 Ampere 和 Hopper 架构高效。
• 适用场景：预算受限或对性能要求不高的场景，如中小型模型的训练与推理任务。

2. NVIDIA Ampere 架构

代表型号：A100

• 配备第三代 Tensor Core，支持 TensorFloat32（TF32）格式，显著提升单精度训练性能。
• 默认情况下，较新版本的 PyTorch 禁用了 TF32，需要手动启用后使用。
• 性能对比 V100：Ampere GPU 的训练速度和能效比均大幅领先于 V100，尤其是在使用半精度 (float16) 时，性能提升尤为显著。
• 建议：优先使用半精度 (float16) 模型训练，以最大化性能（参考 Nvidia Blog）。

3. NVIDIA Hopper 架构

代表型号：H100

• NVIDIA 最新的数据中心级 GPU 架构，性能和特性显著增强。
• 配备第四代 Tensor Core 和 Transformer Engine，可大幅提升 Transformer 模型训练效率。
  Hopper 在训练速度和效率上比 Ampere 提升显著，尤其在大规模 Transformer 模型（如 GPT-4 级别）上，性能提升可达 2~3 倍。
• 进一步优化的 sparsity 支持，使训练大模型时的计算效率更高。

4. NVIDIA Ada Lovelace 架构

代表型号：RTX 4090

• 最新一代消费级 GPU 架构，在深度学习任务中表现优异。
• 尤其在游戏场景和 AI 推理任务中，提供了显著性能提升，是兼顾研究和个人应用的优秀选择。
• Ada Lovelace 架构在推理任务中的表现接近 Hopper，但训练性能不及 Hopper 的数据中心级优化。

GPU 型号简介:

型号	FP32	TF32	FP16	说明
Tesla V100 16/32GB	15.7 TF	不支持	125 TF	Volta 架构的经典 GPU，支持第二代 Tensor Core，适合中小型任务训练与推理。需要 CUDA 10.x。
RTX4090 24GB	82.58 TF	82.6 TF	330 T	Ada Lovelace 架构的旗舰 GPU，适合深度学习任务。需要 CUDA 11.8 或更新版本
A100 40/80G	19.5 TF	156 TF	312 TF	Ampere 架构高端 GPU，适合大规模训练任务。需要 CUDA 11.x
H100 80GB	67 TF	989 TF	1979 T	Hopper 架构顶级 GPU，适用于大规模 AI 和 HPC 工作负载。需要 CUDA 12.x

格式对比：

格式	结构	范围	精度	适用场景
FP64（64-bit Floating Point）	1+11+52	±10^(-308) 到 ±10^(308)	极高精度（52 位尾数）	科学计算、模拟仿真、高精度数值分析
FP32（32-bit Floating Point）	1+8+23	±10^(-38) 到 ±10^(38)	高精度（23 位尾数）	科学计算、需要高稳定性的训练和推理
TF32（TensorFloat32）	1+8+10	与 FP32 相同	中精度（10 位尾数）	深度学习矩阵运算，加速训练，适合单精度优化
BF16（Brain Floating Point 16-bit）	1+8+7	与 FP32 相同	低精度（7 位尾数）	大规模模型训练和推理，特别是低精度预训练
FP16（16-bit Floating Point）	1+5+10	±10^(-5) 到 ±10^(5)	中低精度（10 位尾数）	半精度训练与推理，适用于内存受限的场景

参考阅读：
TensorFloat-32 in the A100 GPU Accelerates AI Training, HPC up to 20x