Batch Normalization是一种用于加速神经网络训练的技术。在神经网络中,输入的数据分布可能会随着层数的增加而发生变化,这被称为“内部协变量偏移”问题。Batch Normalization通过对每一层的输入数据进行归一化处理,使其均值接近于0,标准差接近于1,从而解决了内部协变量偏移问题。
具体地,对于一个Mini-Batch中的一组输入数据,Batch Normalization将这组数据进行标准化处理,使得其均值为0,标准差为1。这样做的好处是,可以使得每一层的输入数据分布更加稳定,从而加速神经网络的训练过程。此外,Batch Normalization还具有一定的正则化效