批归一化Batch Normalization学习笔记

1 Batch Normalization(BN)的作用

1.1 特征分布对神经网络训练的作用

在神经网络的训练过程中,我们一般会将输入样本特征进行归一化处理,使数据变为均值为0,标准差为1的分布或者范围在0~1的分布。因为当我们没有将数据进行归一化的话,由于样本特征分布较散,可能会导致神经网络学习速度缓慢甚至难以学习。
用2维特征的样本做例子。如下两个图
这里写图片描述
上图中样本特征的分布为椭圆,当用梯度下降法进行优化学习时,其优化过程将会比较曲折,需要经过好久才能到达最优点。
这里写图片描述
上图中样本特征的分布为比较正的圆,当用梯度下降法进行优化学习时,其有过的梯度方向将往比较正确的方向走,训练比较快就到达最优点。
因此一个比较好的特征分布将会使神经网络训练速度加快,甚至训练效果更好

1.2 BN的作用

但是我们以前在神经网络训练中,只是对输入层数据进行归一化处理,却没有在中间层进行归一化处理。要知道,虽然我们对输入数据进行了归一化处理,但是输入数据经过σ(WX+b)σ(WX+b)这样的矩阵乘法以及非线性运算之后,其数据分布很可能被改变,而随着深度网络的多层运算之后,数据分布的变化将越来越大。如果我们能在网络的中间也进行归一化处理,是否对网络的训练起到改进作用呢?答案是肯定的。
这种在神经网络中间层也进行归一化处理,使训练效果更好的方法,就是批归一化Batch Normalization(BN)。BN在神经网络训练中会有以下一些作用:

  1. 加快训练速度
  2. 可以省去dropout,L1, L2等正则化处理方法
  3. 提高模型训练精度

2. BN的原理

既然BN这么厉害,那么BN究竟是怎么样的呢?
BN可以作为神经网络的一层,放在激活函数(如Relu)之前。BN的算法流程如下图:
这里写图片描述
1. 求上一层输出数据的均值μβμβ是可学习参数

上述是BN训练时的过程,但是当在投入使用时,往往只是输入一个样本,没有所谓的均值μβμβ的无偏估计得到。

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页