batch normalization论文

通过减少internal Covariate shift加速深度网络的训练。

什么是internal Covariate shift?

由于前一层参数的变化导致了后一层输入分布的变化。这需要减少学习率并且需要小心地初始化网络，并且由于非线性激活层饱和很难进行继续训练。

因此作者提出了BN。经过batch normazation我们可以使用更高的学习率进行训练，并不需要特意关注初始化，并且在一些情况下可以减少Dropout层的使用。

问题从何而来：

目前训练网络通常采用sgd with mini-batch，首先我们从这里出发。

 

mini-batch的优势？

1、mini-batch 的loss是对整个数据集loss的估计，一定程度上反映了数据集的质量。

2、由于计算的并行型，计算多个梯度比计算单独一个梯度效率更高。

sgd随机梯度下降法：

随机梯度下降法非常简单并且有效，但是需要非常小心地调整模型的超参数，特备是学习率和模型初始化的值。训练的过程非常复杂，每一层的输入都受到之前参数的影响，所以网络参数即使变化很小，在很深的网络中也非常大。

 

举个例子：

对于z = g（Wu+b），其中z为某层的输出，g为sigmod函数，W为该层的权重，b为该层的偏置。当|x|增加时，g'也就是sigmod函数的梯度趋向于0，这意味着z相对于u的梯度消失了，因此训练速度也就减慢了。

通常解决方法是将sigmod函数换成relu（x） = max（0，x）线性修正函数，并且小心地初始化