为什么要进行梯度累加

为什么要进行梯度累加

一个解决内存受限的训练技巧

1. 训练神经网络的时候，batch size越大，模型往往越稳定。但在计算需求量大而显存不足的情况下，为保证理想的batch size，就可采取梯度累加(Gradient Accumulation)技术，对同一批次分割计算损失求梯度，将无法一次性放入显存的批次分成几部分分别放入计算。由于
   $$\frac{\partial L}{\partial \theta }=\frac{\partial {\sum }_i{L}_i}{\partial \theta }=\sum _i\frac{\partial L_i}{\partial \theta },$$
   该方法可以保证梯度计算结果不变。
2. 在梯度累加方法下，梯度更新的次数不变，但总训练步数（模型计算的次数）会乘以gradient_accumulation_steps。
3. 在Pytorch中的实现就是，在训练达到累加步数后，再更新参数并清空梯度。注意： 此时的实际的训练batch size相当于batch_size参数*gradient_accumulation_steps，即实现了大批次的效果。这种操作同样可以达到Multi-task训练减少计算图的效果。
4. 代码示例可参考https://www.cnblogs.com/sddai/p/14598018.html