batch_size

目录

 

3.5 Batch_Size

3.5.1 为什么需要 Batch_Size？

3.5.2 Batch_Size 值的选择

3.5.3 在合理范围内，增大Batch_Size有何好处？

3.5.4 盲目增大 Batch_Size 有何坏处？

既然 Full Batch Learning 并不适用大数据集，那么走向另一个极端怎么样？

3.5.5 调节 Batch_Size 对训练效果影响到底如何？

---

3.5 Batch_Size

3.5.1 为什么需要 Batch_Size？

Batch的选择，首先决定的是下降的方向。

如果数据集比较小，可采用全数据集的形式，好处是：

1. 由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。
2. 由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。 Full Batch Learning 可以使用 Rprop 只基于梯度符号并且针对性单独更新各权值。

对于更大的数据集，假如采用全数据集的形式，坏处是：

1. 随着数据集的海量增长和内存限制，一次性载入所有的数据进来变得越来越不可行。
2. 以 Rprop 的方式迭代，会由于各个 Batch 之间的采样差异性，各次梯度修正值相互抵消，无法修正。这才有了后来 RMSProp 的妥协方案。 

3.5.2 Batch_Size 值的选择

​ 假如每次只训练一个样本