模型参数量与显存占用分析

常用模型参数量-显存占用估计统计如下表：

精度&显存模型占用量
		32bit(FP32)-单精度	16bit(FP16/BF16)-半精度	8bit(int8)	4bit(int4)
参数量
	1	4byte	2byte	1byte	0.5byte
	1B	4GB	2GB	1GB	0.5GB
	2B	8GB	4GB	2GB	1GB
	7B	28GB	14GB	7GB	3.5GB
	13B	52GB	26GB	13GB	6.5GB
	32B	128GB	64GB	32GB	16GB
	70B	280GB	140GB	70GB	35GB

训练显存

由于反向传播、Adam优化和Transformer架构等因素，保守估计，训练所需的显存是模型参数所占显存的4倍（1x 为模型 、1x 为梯度、1~2x 为优化器）。

注1：使用AdamW优化器，显存需求为2x；使用SGD优化器，显存需求为1x

为了确保训练期间模型收敛，参数类型一般不能是int8或int4。通常使用FP32或量化到BF16。

例如，使用单浮点精度FP32训练一个1B模型大约需要16GB（4GB x 4）。

• 对于float32类型：1B（10亿参数）x 4（float的字节数）+ 1*4 + 2*4 = 4*4=16G
• 对于half/BF16类型参数：1B（10亿参数）x 2（每个BF16参数字节数）x 4 = 8 GB

推理显存

训练所需的显存是模型参数所占显存的1倍（1x 为模型）。

例如，使用单浮点精度FP32训练一个1B模型大约需要4GB（4GB x 1）。

• 对于float32类型：1B（10亿参数）x 4（float的字节数）=4G

 transformer系列5---transformer显存占用分析_transformer 占用显存大小-CSDN博客

https://cuiyuhao.com/posts/c87c0f5d/