TensorFlow学习记录：批量归一化（BatchNormalization）

1.批量归一化（BatchNormalization）

批量归一化是一种加快模型收敛速度的方法，并且具有一定的泛化能力。简单点说，BatchNormalization的作用就是在深层神经网络的训练过程中使得每一层神经网络的输入保持相同的分布。

因为深层神经网络在做非线性变换前的输入值Y（Y=W*x+b，Y为输入激活函数前的值，W为权重，x为输入，b为偏置），随着网络深度增加或者在训练过程中，因为输入要与权重相乘，还要经过激活函数的非线性转换，多次进行上述过程（前向传播）后，其分布逐渐发生偏移，之所以训练收敛慢，是因为Y逐渐朝非线性函数（激活函数）的取值区间的上下两个极端移动（对于Sigmoid来说，Y的取值），所以在反向传播的时候靠近输入端的神经网络的权重的梯度可能会消失（梯度消失）。为了避免由这种情况造成的梯度消失，Y在进入非线性函数前，使用BatchNormalization的方法，将Y的分布拉回到均差为0标准差为1的标准正态分布，其实就是把越来越偏的分布拉回到标准正态分布，这样使得Y落在非线性函数对输入比较敏感的分布上，在反向传播时梯度不容易消失。

其实一句话就是：对于每个隐层神经元，把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的标准的正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域，以此避免梯度消失问题。因为梯度一直都能保持比较大的状态，所以很明显对神经网络的参数调整效率比较高，就是变动大，就是说向损失函数最优值迈动的步子大，也就是说收敛地快。（原话引自这里）

下图为均值为0方差为1的标准正态分布图

下图为sigmoid函数的图像,$sigmoid(x)=\frac{1}{1+e^{-x}}$，这里sigmoid(x)中的x等于上面的Y

下图为sigmoid的导数图像, s i g m o i d ‘ ( x ) = e − x ( 1 + e − x ) 2 = s i g m