训练大模型的显卡参数辨析

以NVIDIA A100（80GB）为例：

A100中的A是Ampere（安培体系）首字母，100是系列号，除了A100，还有A800

80GB指的是这张显卡的显存为80GB

PCIe：PCIe本身是一种总线协议，这里指的是这种架构的A100只能通过Nvlink Bridge进行两张互联

SXM：一种架构，支持4、8或者16张A100通过Nvlink与NvSwitch芯片进行互联

FP64：双精度型数据

Tensor Core：矩阵运算单元

FP32：单精度

Tensor Float 32：截短的 Float32 数据格式，将 FP32 中 23 个尾数位截短为 10 bits，而指数位仍为 8 bits，总长度为 19 bits

BFLOAT16：全称brain floating point，也是用16位二进制来表示的数

FP16：半精度

INT8：8位整型

TFLOPS：Tera Floating Point Operations Per Second，即每秒执行的万亿次浮点运算

TOPS：Tera Operations Per Second，即每秒执行的万亿次运算

HBM2/e：