batch size的作用

batch size 意思：每一次输入图像数的大小：
影响：对梯度下降方向有影响。

全batch：小样本 好处：全样本确定的梯度下降方向可以更好的确定梯度下降方向，更容易找到极值点。
大样本 坏处：大样本全部batch进入时，由于样本差异性，对于确定梯度方向的影响会抵消，不能找到正确的下降梯度，导致不收敛。

单独一张batch：每一个样本产生一个梯度方向，不同样本之间差异导致梯度方向可能反转很大，导致无法收敛或收敛很慢，产生震荡。

小批量batch：在一定范围内，增加batch的数量，可以使程序找到更加合适的梯度下降方向，加速收敛，减少收敛产生的震荡。
增大到一定的batch数量时候，梯度下降方向将不会变化。

实验证明：有大量样本时，小批量训练也能达到与大样本一样的收敛效果。

郁闷。。。。。。。。。。