《动手学深度学习》之批量归一化

参考批量归一化
1.在模型训练时，批量归一化利用小批量上的均值和标准差，不断调整神经网络的中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。
2.对全连接层和卷积层做批量归一化的方法稍有不同。
3.批量归一化层和丢弃层一样，在训练模式和预测模式的计算结果是不一样的。
4.PyTorch提供了BatchNorm类方便使用。