BN算法 批量归一化算法

1. BN算法的过程

2015年的论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》
思想：

1. 给每层神经网络的输出做一个归一化，将数据变为一个高斯分布。
2. 为增加模型的表达能力，每个神经元都要以自训练方式调整scale和shift两个参数。
   

2. BN算法的好处

1. 可以增加训练速度，防止过拟合：如果没有归一化，每一层训练后的数据分布都不同，网络需要更大的开销去学习新的分布，造成网络模型更加复杂，因此容易发生过拟合，网络收敛也比较慢。
2. 可以避免激活函数进入非线性饱和区，从而造成梯度弥散问题
3. 由于因为BN具有提高网络泛化能力的特性，可以减少了你可以移除dropout比例和正则化参数，这样减少繁琐的调参。
4. 可以省LRN局部归一化层。