Batch size对训练效果的影响&局部最小值

https://www.zhihu.com/question/32673260/answer/149075284     

        一般来说，在合理的范围之内，越大的 batch size 使下降方向越准确，震荡越小；batch size 如果过大，则可能会出现局部最优的情况。小的 bath size 引入的随机性更大，难以达到收敛，极少数情况下可能会效果变好。

首先，为什么需要有 Batch_Size 这个参数？
        Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。其二，由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。 Full Batch Learning 可以使用Rprop 只基于梯度符号并且针对性单独更新各权值。

       对于更大的数据集，以上 2 个好处又变成了 2 个坏处：其一，随着数据集的海量增长和内存限制，一次性载入所有的数据进来变得越来越不可行。其二，以 Rprop 的方式迭代，会由于各个 Batch 之间的采样差异性，各次梯度修正值相互抵消，无法修正。

在合理范围内，增大 Batch_Size 有何好处？

• 内存利用率提高了，大矩阵乘法的并行化效率提高。
• 跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。
• 在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。

盲目增大 Batch_Size 有何坏处？

• 内存利用率提高了，但是内存容量可能撑不住了。
• 跑完一次 epoch（全数据集）所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加了，从而对参数的修正也就显得更加缓慢。
• Batch_Size 增大到一定程度，其确定的下降方向已经基本不再变化。

运行结果如上图所示，其中绝对时间做了标准化处理。运行结果与上文分析相印证：

• Batch_Size 太小，算法在 200 epoches 内不收敛。
• 随着 Batch_Size 增大，处理相同数据量的速度越快。
• 随着 Batch_Size 增大，达到相同精度所需要的 epoch 数量越来越多。
• 由于上述两种因素的矛盾， Batch_Size 增大到某个时候，达到时间上的最优。
• 由于最终收敛精度会陷入不同的局部极值，因此 Batch_Size 增大到某些时候，达到最终收敛精度上的最优。

 

https://blog.csdn.net/ningyanggege/article/details/89351101

另外，太大的 batch size 容易陷入 sharp minima, 泛化性不好，可参考如下文章：

On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima(Nitish Shirish Keskar, Dheevatsa Mudigere, Jorge Nocedal, Mikhail Smelyanskiy, Ping Tak Peter Tang)

 

在论文当中 Reducing BERT Pre-training Time from 3 Days to 76 Minutes中提到：如图所示：

结论：batchsize变大，学习率也要相应变大；本质是为了梯度的方差保持不变； 

1、为什么要保证梯度的方差不变呢？

    个人猜想，是为了解决陷入局部最优和一个sharp 最小值（类似于一个很尖的V底）的问题，增强泛化能力；增加了学习率，就增大了步长；