由于显存限制，通常在预训练大型深度学习模型时会设置较小的batch-size，但小batch-size可能影响模型收敛。为解决此问题，可以采用梯度累加技术。该技术通过积累多个小batch的梯度后再进行一次参数更新，从而达到增大虚拟batch-size的效果，提高模型训练的稳定性。本文主要介绍如何在PyTorch中应用梯度累加。
受显存限制，运行一些预训练的large模型时，batch-size往往设置的比较小1-4，否则就会‘CUDA out of memory’，但一般batch-size越大(一定范围内)模型收敛越稳定效果相对越好，这时梯度累加(Gradient Accumulation)就可以发挥作用了，梯度累加可以先累加多个batch的梯度再进行一次参数更新，相当于增大了batch-size，这里记录一下梯度累计的使用(Pytorch)
# 截取脚本片段
step = 0
accum_step = 10
for epoch in range(epochs):
print(f"epochs: 
最低0.47元/天 解锁文章
3307
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
