Batch normalization

传统的神经网络，只是在将样本x输入输入层之前，对x进行标准化处理（减均值，除标准差），以降低样本间的差异性。BN是在此基础上，不仅仅只对输入层的输入数据x进行标准化，还对每个隐藏层的输入进行标准化。

传统方法

Batch Normalization

BN 使用（小）批计算的均值和方差对特征进行归一化，以简化优化使非常深的网络能够融合。批量统计的随机不确定性也可以作为一个正则化器，它可以适用于泛化。BN 一直是许多最先进的计算机视觉算法的基础。
BN 要求有足够大的批量才能工作。小批量会导致批量统计数据的估算不准确，并且减少 BN 的批量大小会显著增加模型误差。因此，最近的许多模型都是用较大的批量来进行训练的，这些大批量都是很耗费内存的。