Batch Normalization

0.简介

优点：克服了深度网络在训练中的缺点，摆脱了relu、低学习率和doupout正则化方式束缚
目的也是增加网络的非线性性

1.减少内部协变量转变（InternalCovariate Shift）

保证非线性输入的分布在网络训练时保持更稳定，那么优化器将不太可能陷入饱和状态，训练将加速。
内部协变量：我们把训练过程中深度网络内部结点的分布变化称为内部协变量转移（We refer to the change in the distributions of internal nodes of a deep network）
白化：去除输入数据的冗余信息，现使用pca之后再进行

’

这样的计算成本比较高，所以再BN中使用标准化的方式来进行去冗余信息
减少内部协变量转变：先使用标准划来预处理：
$${\hat{x}}^{(k)}=\frac{x^{(k)}-E[x^{(k)}]}{\sqrt{Var[x^{(k)}]}}$$
但是简答的标准划会减少本层中的特征信息，所以要通过一个线性的转换来增添他的身份信息。
$$y^{(k)}={\gamma }^{(k)}{\hat{x}}^{(k)}+{\beta }^{(k)}.$$
参数$\gamma$ 和$\beta$是要训练得到的，这些参数与原始的模型参数一起学习，并恢复网络的表示能力。

${\gamma }^{(k)}=\sqrt{Var[x^{(k)}]}$ 、 ${\beta }^{(k)}=E[x^{(k)}]$
在训练的时候，输入一张图片会导致没有标准差和期望的信息，所以bn使用的是取每个batch中的均值

2.提高学习率

学习率过高可能会导致梯度爆炸或梯度消失，以及陷入差的局部最小值，而一些老的非线性的激活函数（sigmoid和tanh）是有激活条件的，所以要把数据压缩到激活的条件范围内比较好。通过标准化整个网络的激活值，在数据通过深度网络传播时，它可以防止层参数的微小变化被放大

而ReLU这一函数并没有上界，也就是其导数不存在趋近于0的情况，那么为什么在进行图像处理相关的神经网络的时候还是需要将其进行正则化呢？因为输入数据基本上不是独立同分布的，所以可以通过bn来将输入数据规范化为正态分布确实有利于提升网络的整体效果。因此在ReLU函数之前接上了一个Batch Normalization层。