Batch Normalization

Batch Normalization

要解决的问题

如果在不同的维度中的数值差异较大，会产生如图所示的情况：

• 如果x1很小，当w1有改变Δw1时，结果y有改变Δe就会很小，于是所计算出来的梯度就会相对很小；
• 如果x2很大，当w2有改变Δw2时，结果y有较大的改变，于是计算出来的梯度就会很大

以上的情况会使得训练变得十分困难！！

针对输入的特征归一化

如图所示，假设现有R个训练样本的特征向量每个都是n维的：
$$x^1,x^2,x^3\cdots x^R\in R^n$$
对所有训练样本d的每个维度做如下的操作：
$${\hat{x}}_i^r\leftarrow \frac{x_i^r-m_i}{{\delta }_i}$$

前向传播过程中的值归一化

• 如图所示，假设三个训练样本正通过同一个神经元，产生输出z1,z2,z3。与输入中的归一化执行相同的方式即可。
  • 注意此时左边的每个黑色的x长条是三个训练样本（经过输入的归一化后的），右边的三个z实际上是三个标量为三个训练样本通过权值为w1的神经元后的输出结果。
  • 激活前后执行均可
• 但显然只可一个Batch计算一次上述结果，因为GPU没有足够多的内存容量一次装载所有的数据

• 除此之外，为了让归一化后的结果有不同的分布，可以做如下的修正

• $${\hat{z}}^i=\beta +\gamma {\tilde{z}}^i$$

• 其中求和表示对一个midibatch中得到的所有向量进行求和，z(i)表示minibatch中第i个样本对应的向量（维度为当前层神经元的个数）。

测试时的归一化

• 使用涵盖所有训练时minibatch的指数加权平均进行计算

  

• 使用训练集的结果的指数加权平均来更新测试集