BN层中为什么测试时使用训练的到的全局均值以及标准差?

预测时的批量归⼀化

《动手学习深度学习》李沐
使⽤批量归⼀化训练时,我们可以将批量⼤小设的⼤⼀点,从而使批量内样本的均值和⽅差的计算都较为准确。将训练好的模型⽤来预测时,我们希望模型对于任意输⼊都有确定的输出,因此,单个样本的输出不应取决于批量归⼀化所需要的随机小批量中的均值和⽅差 。一种常⽤的⽅法是通过移动平均估算整个训练数据集的样本均值和⽅差,并在预测时使⽤它们得到确定的输出。可⻅,和丢弃层⼀样,批量归⼀化层在训练模式和预测模式下的计算结果也是不⼀样的。
即:某一个样本经过测试时应该有确定的输出,如果在测试时也是用测试数据的means和var,那么样本的输出会随所处batch的不同,而有所差异。即batch的随机性导致了样本测试的不确定性。所以使用固定的在训练中得出的mean和var。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值