预测时的批量归⼀化
《动手学习深度学习》李沐
使⽤批量归⼀化训练时,我们可以将批量⼤小设的⼤⼀点,从而使批量内样本的均值和⽅差的计算都较为准确。将训练好的模型⽤来预测时,我们希望模型对于任意输⼊都有确定的输出,因此,单个样本的输出不应取决于批量归⼀化所需要的随机小批量中的均值和⽅差 。一种常⽤的⽅法是通过移动平均估算整个训练数据集的样本均值和⽅差,并在预测时使⽤它们得到确定的输出。可⻅,和丢弃层⼀样,批量归⼀化层在训练模式和预测模式下的计算结果也是不⼀样的。
即:某一个样本经过测试时应该有确定的输出,如果在测试时也是用测试数据的means和var,那么样本的输出会随所处batch的不同,而有所差异。即batch的随机性导致了样本测试的不确定性。所以使用固定的在训练中得出的mean和var。