Batch Normalization详解

对于第k维度的特征，大小为m的batch的BN计算，其中 $\gamma$ 和 $\beta$ 是可学习参数, $ϵ$ 是一个为了保持计算稳定的常数，一般取值为$e^{-5}$(PyTorch默认)。

梯度回传：

深度学习100问之深入理解Batch Normalization（批归一化）

BN 训练时

BN在训练阶段是保持计算每一个Batch的均值和方差的，其计算算法：

BN测试时

那么对每层的输入数据进行batch normalization之后，我们可以更加快速地实现收敛，那么当整个模型训练成功之后，我们需要对网络进行测试，这时候输入的单个的样本，只有一个数据，如何对这个输入样本进行规范呢？

答案就是我们在训练的时候要记住每个mini-batch的均值与方差，然后根据这些数据计算训练集整体的均值与方差（均值的期望、方差的无偏估计），公式如下：

利用整体的均值与方差，实现对单个样本的规范化，然后再输入到训练好的网络中进行测试。

BN训练时为什么不用全量训练集的均值和方差呢？

因为用全量训练集的均值和方差容易过拟合，对于BN，其实就是对每一批数据进行归一化到一个相同的分布，而每一批数据的均值和方差会有一定的差别，而不是用固定的值，这个差别实际上能够增加模型的鲁棒性，也会在一定程度上减少过拟合。

也正是因此，BN一般要求将训练集完全打乱，并用一个较大的batch值，否则，一个batch的数据无法较好得代表训练集的分布，会影响模型训练的效果。