2025⼤模型训练与推理硬件采购及配置指南

深度学习&⼤模型训练与推理——硬件配置指南

content

• Part 1.读懂GPU性能：GPU性能核⼼参数介绍

• Part 2.现阶段主流显卡（从2080到H100）性能分析

• Part 3.各类⼤模型推理、微调、预训练所需显存

• Part 4.从个⼈实验到70B模型推理，各类场景下硬件配置⽅案推荐

公开课附赠独家硬件配置指南表

• 显卡性能排名表

• 显卡性价⽐排名表

• 热⻔显卡参数对⽐表

• 各参数⼤模型训练所需硬件表

• 各参数⼤模型微调&推理硬件表

• 不同需求下硬件配置表

一、读懂显卡参数，GPU核⼼性能参数介绍

常⻅的显卡介绍

• RTX系列显卡的游戏性能：⼀分钱⼀分货。但是⼤模型⽅⾯的计算性能却并⾮如此。

• 例如4090游戏性能⼏乎是3090的两倍，但若换算为单位⼈⺠币可以买到的⼤模型训练性能，3090是4090的 1.5倍；

NVIDIA DGX H200产品介绍

GPU计算性能核⼼参数

• CUDA Cores：CUDA核⼼

• Tensor Cores：张量计算核⼼

• GPU Memory：显存

• FLOPS：每秒浮点计算次数

• NVLink&NVSwitch：显卡桥接

• TDP：最⼤功耗需求

GPU计算性能核⼼参数详细介绍

• CUDA Cores：CUDA核⼼，是 NVIDIA GPU 的基础计算单元，负责执⾏并⾏计算任务；

• Tensor Cores：张