How does batch normalization help optimization,Bacth Normalization的原理

Bacth Normalization出现背景

深度神经网络的“深”意味着性能强，但同时也意味着训练难：“梯度消失”，“梯度爆炸”等问题难以解决。人们把这种问题的出现归咎于internal covariate shift（内部协变量变化）。为了解决这个所谓的ICS，2015年谷歌的Sergey Ioffe，Christian Szegedy（Batch Normalization: Accelerating Deep Network Training by
Reducing Internal Covariate Shift）借鉴机器学习里数据预处理“白化”的思想，提出了Batch normalization：

标准化将原来层间数值的分布强行变为（0,1)的正态分布。同时，为了防止这种强行改变会影响特征的提取，BN在标准化之后又加了一个可学习的缩放与平移：

完整算法：

对数据简单的标准化处理，再加入只有两个参数的一个线性层，却取得了惊人的效果，可以让模型使用更大的学习率同时对初始值敏感性减小，收敛的更快。

BN的作用原理

1、BN与ICS没有太大关系
2、BN的实际作用在于增强了损失函数的 Lipschitz性质，使得损失函数平面更加平滑，意味着梯度消失及爆炸并不会出现。

定理表明BN处理后，模型的梯度上界比BN处理前小的多，说明此时损失函数平面更加平滑。

这个定理说表损失函数对参数的二阶导的上界也变小了，说明BN处理后训练过程中梯度的变化也不会太大。
这个定理表明BN处理后网络对参数的初始值敏感度下降。

后记

这个原理解释是2018年MIT几位博士的工作，整体证明数学知识并没有要求太多，但是ICS却也误导了大家这么多年。明说DL真的需要数学家的参与，从数学的角度出发，为DL搭建起底层理论。