很大batch size的缺点

很大batch size的缺点

1、很大batch size的优点：

• 允许更大的学习率
• 更快的收敛
• 极限情况是，整个数据集作为一个batch，更新应该是全局最优的，这时候就不是随机梯度下降了，就是梯度下降。

在这里我们要知道，为什么需要随机梯度下降，因为训练数据太多了，参数更新太慢，因此我们在这里直接就图省事了，随机取几个数据更新参数，这样就能够

2、很大batch size缺点：

• batch size越大，参数更新的次数越少（不是很重要，因为如果batch size很小的话，即使参数更新的次数很多，但是并没有用，因为更新的都是没用的，要他干啥）

3、很小batch size的缺点：

• 在随机梯度下降中，损失函数的梯度是在整个batch上计算的。如果batch size很小，梯度就会在很小的范围内计算，甚至可能是一个随机值（极限情况是每次一张图片）
• batch size越大，梯度越精确，因为是在更大的图片集上进行梯度计算