批量规范化（Batch Normalization）是Google在2015年提出的一种加速深度网络训练的算法，旨在减少内部协变量转移，提高训练速度。在TensorFlow中，可以通过`tf.nn.batch_normalization`、`tf.layers.batch_normalization`或`tf.contrib.layers.batch_norm`实现。在训练时，使用batch内的统计值计算均值和标准差，而在测试或预测时，则使用训练时的滑动平均值。正确使用BN需要注意训练与推理模式的区别，并在训练过程中更新统计量。
目前主流的训练深度神经网络的算法是梯度下降算法，简而言之该过程就是通过将网络输出值与真实值之间的误差信号逐层传递至神经网络的每个节点，进而更新节点与节点之间的参数。但深度神经网络的调参过程一直是个问题。
随着梯度下降算法的不断改进，已经有越来越多的算法尝试减少调参的工作量，比如减小学习率、选取合适的权重初始化函数、应用Dropout等等，而Batch Normalization也是一个加速神经网络训练过程的算法，帮助减少调参的弯路。这个算法在2015年由Google提出，一提出便被广泛接纳采用，可以发现，现如今基本上所有的深度神经网络模型中都会加入Batch Normalization技巧。
参考论文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
batch_normalization的原理
Batch_normalization即在每次SGD时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0，方差为1。而最后的“scale and shift”操作则是为了让因训练所需而“刻意”加入的BN能够有可能还原最初的输入（即当<
最低0.47元/天 解锁文章
773
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
