【深度学习】批量归一化和层归一化解析

批量归一化和层归一化

样本特征由于来源和度量单位的不同导致尺度存在较大差异，这对于尺度敏感模型会使得优化方向被尺度较大的特征所主导。对样本进行预处理，将各个维度的特征转换到相同的取值区间，并消除特征之间的相关性，才能获得较理想的结果。

归一化(Normalization) 方法泛指把数据特征转换为相同尺度的方法，比如把数据特征映射到[0, 1]或[−1, 1]区间内，或者映射为服从均值为0、方差为1的标准正态分布。

• 尺度不变性(Scale Invariance)： 如果一个机器学习算法在缩放全部或部分特征后不影响其学习和预测，那么称其具有尺度不变性，否则为尺度敏感的。线性分类器是尺度不变的，而最近邻分类器就是尺度敏感的。
• 理论上看，神经网络应该具有尺度不变性，其可以通过调节内部参数来适应不同特征的尺度，但是这会增加训练难度。

（a）、(b)分别是未归一化数据和归一化数据在训练中的等高线图。在使用梯度下降法的寻优过程中，(a)所示的原始数据尺度不同，其在大多数位置上的梯度方向并不是最优的搜索方向，会导致需要很多次迭代才能收敛；采用(b)所示的归一化后数据，每一步的梯度方向都近似指向最小值，训练效率大幅提高。

1、归一化方法

1.1 最大最小归一化(Min-Max Normalization)

通过缩放将每一个特征的取值范围归一到[0,1]或[-1,1]之间。假设由$N$ 个样本 ${\left\{x^{(n)}\right\}}_{n=1}^N$ ，对于每一特征维度$x$ ，归一化后的特征为：
$${\hat{x}}^{(n)}=\frac{x^{(n)}-{\min }_n\left(x^{(n)}\right)}{{\max }_n\left(x^{(n)}\right)-{\min }_n\left(x^{(n)}\right)}，$$
其中，$min(x)$ 和$max(x)$ 分别是特征 $x$ 在所有样本上的最大值和最小值。

1.2 标准化(Standardization)

标准化也叫Z值归一化(Z-Score Normalization) ，将每一个维度特征都调整为均值为0，方差为1。假设有N个样本 ${\left\{x^{(n)}\right\}}_{n=1}^N$ ，对于每一维度特征先计算其均值和方差：
$$\begin{array}{rl}\mu & =\frac{1}{N}\sum _{n=1}^N{x}^{(n)}\\ {\sigma }^2& =\frac{1}{N}\sum _{n=1}^N{\left(x^{(n)}-\mu \right)}^2\end{array}$$
然后，再将特征 $x^{(n)}$ 减去均值，并处以标准差，得到新的特征值 ${\hat{x}}^{(n)}$ :
$${\hat{x}}^{(n)}=\frac{x^{(n)}-\mu }{\sigma }$$

1.3 白化(Whitening)

用来降低输入数据特征之间的冗余性。输入数据经过白化处理后，特征之间相关性较低，并且所有特征具有相同的方差。白化的一个主要实现方式是使用主成分分析(Principal Component Analysis，PCA) 方法去除掉各个成分之间的相关性。

2、批量归一化

批量归一化(Batch Normalization, BN) 方法是一种有效的逐层归一化方法，可以对神经网络中的任意中间层进行归一化操作，其提出动机是为了解决内部协方差漂移问题，但是后来的研究者发现其主要优点是归一化会使得更平滑的优化地形。

对于一个深度神经网络，令其 $l$ 层的净输入为 ${\mathbf{z}}^{(l)}$ ,神经元的输出为 ${\mathbf{a}}^{(l)}$ ，即：
$${\mathbf{a}}^{(l)}=f\left({\mathbf{z}}^{(l)}\right)=f\left(\mathbf{W}{\mathbf{a}}^{(l-1)}+\mathbf{b}\right)$$
其中 $f\left(\cdot \right)$ 是激活函数，$\mathbf{W}$ 和 $\mathbf{b}$ 是可学习的参数。

为了提高优化效率，就要使得净输入${\mathbf{z}}^{(l)}$ 的分布一致，比如都归一化到标准正态分布。虽然归一化操作也可以应用在输入 ${\mathbf{a}}^{(l-1)}$ 上，但归一化${\mathbf{z}}^{(l)}$更加有利于优化。因此，在实践中归一化操作一般应用在仿射变换 $\mathbf{W}{\mathbf{a}}^{(l-1)}+\mathbf{b}$ 之后、激活函数之前。

一般使用标准化将净输入 ${\mathbf{z}}^{(l)}$ 的每一维都归一到标准正态分布。
$${\hat{\mathbf{z}}}^{(l)}=\frac{{\mathbf{z}}^{(l)}-\mathbb{E}\left[{\mathbf{z}}^{(l)}\right]}{\sqrt{\mathrm{var}\left({\mathbf{z}}^{(l)}\right)+ϵ}}$$
其中，$\mathbb{E}\left[{\mathbf{z}}^{(l)}\right]$ 和 $\mathrm{var}\left({\mathbf{z}}^{(l)}\right)$ 是指当前参数下，${\mathbf{z}}^{(l)}$ 的每一维在整个训练集上的期望和方差。对于小批量随机梯度下降而言，准确计算 ${\mathbf{z}}^{(l)}$ 的期望和方差是不可行的，因此 ${\mathbf{z}}^{(l)}$ 的期望和方差通常使用当前小批量样本集的均值和方差近似估计。

给定一个包含$K$个样本的小批量样本集合，第 $l$ 层神经元的净输入 ${\mathbf{z}}^{(1,l)}$,···，${\mathbf{z}}^{(K,l)}$ 的均值和方差为：
$$\begin{array}{rl}{\mathbf{\mu }}_{\mathcal{B}}& =\frac{1}{K}\sum _{k=1}^K{\mathbf{z}}^{(k,l)}\\ {\sigma }_{\mathcal{B}}^2& =\frac{1}{K}\sum _{k=1}^K\left({\mathbf{z}}^{(k,l)}-{\mathbf{\mu }}_{\mathcal{B}}\right)\odot \left({\mathbf{z}}^{(k,l)}-{\mathbf{\mu }}_{\mathcal{B}}\right)\end{array}$$
对净输入${\mathbf{z}}^{(l)}$的标准归一化会使得其取值集中到0附近，如果使用Sigmoid型激活函数时，这个取值区间刚好是接近线性变换的区间，减弱了神经网络学习非线性特征的能力。

因此，为了使得归一化不对网络的表达能力造成负面印象，可以通过一个附加的缩放和平移变换改变取值区间。
$$\begin{array}{rl}{\hat{\mathbf{z}}}^{(l)}& =\frac{{\mathbf{z}}^{(l)}-{\mathbf{\mu }}_{\mathcal{B}}}{\sqrt{{\sigma }_{\mathcal{B}}^2+ϵ}}\odot \mathbf{\gamma }+\mathbf{\beta }\\ & \triangleq {\mathrm{BN}}_{\mathbf{\gamma },\mathbf{\beta }}\left({\mathbf{z}}^{(l)}\right)\end{array}$$
其中$\mathbf{\gamma }$和$\mathbf{\mu }$分别表示缩放和平移的参数向量，从最保守的角度来看，可以通过标准归一化的逆变换来使得归一化后的变量还原为原来的值，即当$\mathbf{\gamma }=\sqrt{{\mathbf{\sigma }}_{\mathcal{B}}^2}$, $\mathbf{\beta }={\mathbf{\mu }}_{\mathcal{B}}$时，${\hat{\mathbf{z}}}^{(l)}={\mathbf{z}}^{(l)}$。

每次小批量样本的均值${\mathbf{\mu }}_{\mathcal{B}}$和方差${\mathbf{\sigma }}_{\mathcal{B}}^2$是净输入${\mathbf{z}}^{(l)}$的函数，而不是常量，因此在计算梯度时需要考虑${\mathbf{\mu }}_{\mathcal{B}}$和${\mathbf{\sigma }}_{\mathcal{B}}^2$的影响。当训练完成时，用整个数据集上的均值$\mathbf{\mu }$和方差$\mathbf{\sigma }$来分别代替每次小批量样本的均值${\mathbf{\mu }}_{\mathcal{B}}$和方差${\mathbf{\sigma }}_{\mathcal{B}}^2$。

3、层归一化

批量归一化是对一个中间层的单个神经元进行归一化操作，因此要求小批量的数量不能太小，否则难以计算单个神经元的统计信息。此外，如果一个神经元的净输入的分布在神经网络中是动态变化的比如循环神经网络，那么就无法应用批量归一化操作。

层归一化(Layer Normalization)是和批量归一化非常类似的方法，和批量归一化不同的是，层归一化是对一个中间层的所有神经元进行归一化。对于一个深度神经网络，令第$\mathbf{l}$层神经元的净输入为${\mathbf{z}}^{(l)}$，其均值和方差为：
$$\begin{array}{rl}{\mu }^{(l)}& =\frac{1}{M_l}\sum _{i=1}^{M_l}{z}_i^{(l)}\\ {\sigma }^{(l{)}^2}& =\frac{1}{M_l}\sum _{i=1}^{M_l}{\left(z_i^{(l)}-{\mu }^{(l)}\right)}^2\end{array}$$
其中$M_l$为第$l$层神经元的数量。

层归一化定义为：
$$\begin{array}{rl}{\hat{\mathbf{z}}}^{(l)}& =\frac{{\mathbf{z}}^{(l)}-{\mu }^{(l)}}{\sqrt{{\sigma }^{(l{)}^2}+ϵ}}\odot \mathbf{\gamma }+\mathbf{\beta }\\ & \triangleq {\mathrm{LN}}_{\gamma ,\beta }\left({\mathbf{z}}^{(l)}\right)\end{array}$$
其中，$\mathbf{\gamma }$和$\mathbf{\beta }$分别表示缩放和平移的参数向量，和${\mathbf{z}}^{(l)}$维度相同。

4、批量归一化和层归一化的区别

批量归一化针对不同数据之间的单个神经元(不同特征维度)进行归一化操作，层归一化针对单个训练数据在某一层所有神经元上的归一化。