BatchSize 的选择

全批次（蓝色）

如果数据集比较小我们就采用全数据集。全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。

注：对于大的数据集我们不能使用全批次，因为会得到更差的结果。

迷你批次（绿色）

选择一个适中的Batch_Size 值。就是说我们选定一个batch的大小后，将会以batch的大小将数据输入深度学习的网络中，然后计算这个batch的所有样本的平均损失，即代价函数是所有样本的平均。

随机（batch_size等于1的情况）（红色）

每次修正方向以各自样本的梯度方向修正，横冲直撞各自为政，难以达到收敛。

相对于正常数据集，如果Batch_Size过小，训练数据就会非常难收敛，从而导致underfitting。 
增大Batch_Size，相对处理速度加快。 
增大Batch_Size，所需内存容量增加（epoch的次数需要增加以达到最好结果）。 

这里我们发现上面两个矛盾的问题，因为当epoch增加以后同样也会导致耗时增加从而速度下降。因此我们需要寻找最好的batch_size。
Batch_Size 增大到一定程度，其确定的下降方向已经基本不再变化；

 

再次重申：batchsize 的正确选择是为了在内存效率和内存容量之间寻找最佳平衡。