对于第k维度的特征,大小为m的batch的BN计算,其中
γ
\gamma
γ 和
β
\beta
β 是可学习参数,
ϵ
\epsilon
ϵ 是一个为了保持计算稳定的常数,一般取值为
e
−
5
e^{-5}
e−5(PyTorch默认)。
梯度回传:
深度学习100问之深入理解Batch Normalization(批归一化)
BN 训练时
BN在训练阶段是保持计算每一个Batch的均值和方差的,其计算算法:
BN测试时
那么对每层的输入数据进行batch normalization之后,我们可以更加快速地实现收敛,那么当整个模型训练成功之后,我们需要对网络进行测试,这时候输入的单个的样本,只有一个数据,如何对这个输入样本进行规范呢?
答案就是我们在训练的时候要记住每个mini-batch的均值与方差,然后根据这些数据计算训练集整体的均值与方差(均值的期望、方差的无偏估计),公式如下:
利用整体的均值与方差,实现对单个样本的规范化,然后再输入到训练好的网络中进行测试。
BN训练时为什么不用全量训练集的均值和方差呢?
因为用全量训练集的均值和方差容易过拟合,对于BN,其实就是对每一批数据进行归一化到一个相同的分布,而每一批数据的均值和方差会有一定的差别,而不是用固定的值,这个差别实际上能够增加模型的鲁棒性,也会在一定程度上减少过拟合。
也正是因此,BN一般要求将训练集完全打乱,并用一个较大的batch值,否则,一个batch的数据无法较好得代表训练集的分布,会影响模型训练的效果。