Batch Normalization的作用

结合资料，对于Batch Normalization有了一些自己的理解。

1.BN可以解决梯度消失的问题。

假设激活函数为sigmoid.
$a_l=sigmoid(h_l)=sigmoid(a_{l-1}*w_l)$
因为在反向传播中:
$\frac{\partial g}{\partial w} = \frac{\partial g}{\partial a_l} * \frac{\partial a_l}{\partial h_l} * \frac{\partial h_l}{\partial w}=\frac{\partial g}{\partial a_l} * \frac{\partial a_l}{\partial h_l} * \frac{\partial h_l}{\partial a_{l-1}}* \frac{\partial a_{l-1}}{\partial h_{l-1}}*\frac{\partial h_{l-1}}{\partial w_{}}=...$
如果$h_l$非常大，根据sigmoid图像的特点，在两边值的导数几乎为0，只有中间y轴附近值导数值比较大。所以，经过若干次链式求导，最终$\frac{\partial g}{\partial w}$接近为0，这就是梯度消失。
如果经过了Batch Normalization，可以使得每一层的$h$的均值为0，标准差为1，也就是数据集中在y轴附近，这样就使得梯度比较大，解决了梯度消失的问题。

2.BN可以解决每一层数据不稳定的问题。

在网络中有很多层，每一层的数据都要经过权重计算，如果权重大部分大于1的话，最后的数据可能非常大，如$1.1^{100}$。如果权重大部分小于1的话，最后的数据可能非常小，如$0.9^{100}$。BN也可以解决这个问题。