这个系列作为TFLOPS和显存消耗的续篇,今天开始正式连载
上一部地址:
LLM 参数,显存,Tflops? 训练篇(5) (qq.com)
前一篇文章举了65B模型的训练所消耗的显存的案例,如果把条件降低一点,我们看一下7B的模型需要多少显存?
-
2byte的模型静态参数权重(以16bit存储) = 14G
-
2byte的模型更新参数权重 (以16bit存储)= 14G
-
2byte的梯度(以16bit存储)= 14G
-
2byte的梯度更新(以16bit存储)= 14G
-
4byte的一阶动量优化器更新(以32bit存储)= 28G
-
4byte的二阶方差优化器更新(以32bit存储)= 28G
</