批归一化作用_批归一化（Batch Normalization）详细解释笔记

批归一化(Batch Normalization)的详细解释

​ 以前在神经网络训练中，只是对输入层数据进行归一化处理，却没有在中间层进行归一化处理。要知道，虽然我们对输入数据进行了归一化处理，但是输入数据经过矩阵乘法以及非线性运算之后，其数据分布很可能被改变，而随着深度网络的多层运算之后，数据分布的变化将越来越大。如果我们能在网络的中间也进行归一化处理，是否对网络的训练起到改进作用呢？答案是肯定的。

​ 这种在神经网络中间层也进行归一化处理，使训练效果更好的方法，就是批归一化Batch Normalization(BN)。

1. 批归一化(BN)算法的优点

下面总结一下BN算法的优点：

减少了人为选择参数。在某些情况下可以取消 dropout 和 L2 正则项参数,或者采取更小的 L2 正则项约束参数；

减少了对学习率的要求。现在我们可以使用初始很大的学习率或者选择了较小的学习率，算法也能够快速训练收敛；

可以不再使用局部响应归一化。BN 本身就是归一化网络(局部响应归一化在 AlexNet 网络中存在)

破坏原来的数据分布，一定程度上缓解过拟合(防止每批训练中某一个样本经常被挑选到，文献说这个可以提高 1% 的精度)。

减少梯度消失，加快收敛速度，提高训练精度。

2. 批归一化(BN)算法流程

下面给出 BN 算法在训练时的过程

输入：上一层输出结果 X = x 1 , x 2 , . . . , x m X = {x_1, x_2, ..., x_m}X=x1​,x2​,...,xm​，学习参数 γ , β \gamma, \betaγ,β

算法流程