Batch Normalization(BN)

最新推荐文章于 2022-12-05 23:03:51 发布

Hearthougan

最新推荐文章于 2022-12-05 23:03:51 发布

阅读量538

点赞数 3

分类专栏： Deep Learning 文章标签： Batch Normalization

Deep Learning 专栏收录该内容

14 篇文章 2 订阅

订阅专栏

优点

Batch Normalization（BN）有什么优点？BN的优点是多个并存，这里只提一个个人认为最容易理解的优点和其原因。

训练时的问题

尽管在讲解神经网络概念的时候，神经网络的输入指的是一个向量 x_i 。

但在实际训练中有下面的训练方式：

随机梯度下降法（Stochastic Gradient Descent）：用一个样本的梯度来更新权重。
批量梯度下降法（Batch Gradient Descent）：用多个样本梯度的平均值来更新权重

如下图所示，绿、蓝、黑的箭头表示三个样本的梯度更新网络权重后loss的下降方向。

若用多个梯度的均值来更新权重的批量梯度下降法可以用相对少的训练次数遍历完整个训练集，其次可以使更新的方向更加贴合整个训练集，避免单个噪音样本使网络更新到错误方向。

然而也正是因为平均了多个样本的梯度，许多样本对神经网络的贡献就被其他样本平均掉了，相当于在每个epoch中，训练集的样本数被缩小了。batch中每个样本的差异性越大，这种弊端就越严重。

一般的解决方法就是在每次训练完一个epoch后，将训练集中样本的顺序打乱再训练另一个epoch，不断反复。这样重新组成的batch中的样本梯度的平均值就会与上一个epoch的不同。而这显然增加了训练的时间。
同时因为没办法保证每次更新的方向都贴合整个训练集的大方向，只能使用较小的学习速率。这意味着训练过程中，一部分steps对网络最终的更新起到了促进，一部分steps对网络最终的更新造成了干扰，这样“磕磕碰碰”无数个epoch后才能达到较为满意的结果。

注：一个epoch是指训练集中的所有样本都被训练完。一个step或iteration是指神经网络的权重更新一次。

为了解决这种“不效率”的训练，BN首先是把所有的samples的统计分布标准化，降低了batch内不同样本的差异性，然后又允许batch内的各个samples有各自的统计分布。所以，

BN的优点自然也就是允许网络使用较大的学习速率进行训练，加快网络的训练速度（减少epoch次数），提升效果。

做法

设，每个batch输入是 x=[x_0,x_1,x_2,...,x_n] （其中每个 x_i 都是一个样本，是batch size）假如在第一层后加入Batch normalization layer后， h_1 的计算就倍替换为下图所示的那样。

矩阵先经过的线性变换后得到
- 注：因为减去batch的平均值 $\mu_B$ 后，的作用会被抵消掉，所以没必要加入（红色删除线）。
将再减去batch的平均值，并除以batch的标准差得到。是为了避免除数为0的情况所使用的微小正数。
- $\mu_B=\frac {1}{m} \sum^m_{i=0}W_{h_1}x_{i,:}$
- $\sigma^2_B=\frac {1}{m} \sum^m_{i=0}(W_{h_1}x_{i,:}-\mu_B)^2$
- 注：但基本会被限制在正态分布下，使得网络的表达能力下降。为解决该问题，引入两个新的parameters： $\gamma$ 和 $\beta$ 。 $\gamma$ 和 $\beta$ 是在训练时网络自己学习得到的。
将乘以 $\gamma$ 调整数值大小，再加上 $\beta$ 增加偏移后得到。
为加入非线性能力，也会跟随着ReLU等激活函数。
最终得到的会被送到下一层作为输入。