batch_size

全数据集 （ Full Batch Learning ）

• 随着数据集的海量增长和内存限制，一次性载入所有的数据进来变得越来越不可行。
• 以 Rprop 的方式迭代，会由于各个 Batch 之间的采样差异性，各次梯度修正值相互抵消，无法修正。

在线学习（Online Learning）

• 使用在线学习，每次修正方向以各自样本的梯度方向修正，横冲直撞各自为政，难以达到收敛。

批梯度下降法（Mini-batches Learning）
如果数据集足够充分，那么用一半（甚至少得多）的数据训练算出来的梯度与用全部数据训练出来的梯度是几乎一样的。

1. 在合理范围内，增大 Batch_Size 有何好处？
   内存利用率提高，大矩阵乘法的并行化效率提高。
   跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。
   在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。

2. 盲目增大 Batch_Size 有何坏处？
   内存利用率提高了，但是内存容量可能撑不住了。
   跑完一次epoch所需的迭代次数减少，但达到相同的精度，所花费的时间大大增加，从而对参数的修正也就显得更加缓慢。
   Batch_Size 增大到一定程度，其确定的下降方向已经基本不再变化。