人工智能/机器学习基础知识——Layer-wise Normalization

Layer-wise Normalization

逐层归一化

• 尺度不变性

• 平滑优化地形

BatchNorm（Batch Normalization）

Paper : Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

CSDN

批标准化，相当于一种正则化手段

随着深度神经网络的训练，输入值的分布会随着前向传播过程而慢慢改变，即“Internal Covariate Shift”问题。例如，我们对输入值做了标准化后，其分布符合标准正态分布，均值为0，方差为1。随着前向传播不断进行，其分布会慢慢发生偏移，而且一般是往无穷大与无穷小的方向偏移。这就造成了在经过激活函数时的数据分布在中心两端较远处，此处梯度很小，在反向传播的过程中会造成底层参数出现梯度消失或训练十分缓慢的现象。

• 考虑一个深度神经网络，令第$l$层的净输入为$z^{(l)}$，神经元的输出为$a^{(l)}$，即

  $${\mathbf{a}}^{(l)}=f\left({\mathbf{z}}^{(l)}\right)=f\left(\mathbf{W}{\mathbf{a}}^{(l-1)}+\mathbf{b}\right)$$
  其中，$f(\cdot )$为激活函数，$W$和$b$为可学习参数

  • 利用标准化将输入（即经过仿射变化的输入，如经过CNN之后的数据）拉回正态分布

  $${\hat{z}}^{(l)}=\frac{z^{(l)}-\mathbb{E}\left[z^{(l)}\right]}{\sqrt{\mathrm{var}\left(z^{(l)}\right)+ϵ}}$$
  $\mathbb{E}\left[{\mathbf{z}}^{(l)}\right]$和$\mathrm{var}\left({\mathbf{z}}^{(l)}\right)$是指在当前参属下，$z^{(l)}$的每一维在整个训练集上的期望和方差。但在梯度下降优化算法下，只能利用小批量样本的期望和方差来代替
  $${\mu }_{\mathcal{B}}=\frac{1}{K}\sum _{k=1}^K{z}^{(k,l)}$$
  $${\sigma }_{\text{R }}^2=\frac{1}{K}\sum _{k=1}^K\left(z^{(k,l)}-{\mu }_B\right)\odot \left(z^{(k,l)}-{\mu }_B\right)$$

  • 考虑一种使用Sigmoid激活函数的情况，标准化之后的数据取值都分布在0附近，这个取值区间在Sigmoid上接近线性，减弱了非线性的作用。因此，为了使BN不对网络的表示能力造成负面影响，可以引入两个可学习参数，通过一个附加的缩放和平移变换改变取值区间

  $$\begin{array}{rl}{\hat{z}}^{(l)}& =\frac{z^{(l)}-{\mu }_{\mathcal{B}}}{\sqrt{{\sigma }_{\mathcal{D}}^2+ϵ}}\odot \gamma +\beta \\ & \triangleq {\mathrm{BN}}_{\gamma ,\beta }\left(z^{(l)}\right),\end{array}$$
  其中$\gamma$和$\beta$分别代表缩放和平移的可学习参数。上式其实可以看做是标准化的逆变换。

  • BN作为一个网络层，加在激活函数之前，仿射变换之后

  $${\mathbf{a}}^{(l)}=f\left({\mathrm{BN}}_{\gamma ,\beta }\left({\mathbf{z}}^{(l)}\right)\right)=f\left({\mathrm{BN}}_{\gamma ,\beta }\left(\mathbf{W}{\mathbf{a}}^{(l-1)}\right)\right)$$
  由于在BN中本身就加入了平移变换的可学习参数，所以在仿射变换（如CNN）中就无需偏置参数了，这也就是为什么在ResNet的官方实现中不设置CNN的bias的原因

  • 在训练时使用的每个批样本的均值与方差会被保存下来，根据滑动平均或其他算法对这些均值与方差进行计算，最终得到的均值与方差作为训练阶段最终的值被保存下来，作为全局均值与方差用于测试阶段的BN计算。

• BatchNorm的本质思想就是将数据分布重新标准化为均值为0，标准差为1的标准正态分布，然后再将数据送入激活函数，这样输入值就会落在比较靠近中心的部分，梯度较大，避免梯度消失的同时加快训练收敛速度

• BatchNorm其实还是一种类似于Dropout的正则化方法，能一定程度上防止过拟合

• BatchNorm与ReLU的顺序应该为先BatchNorm后ReLU。因为如果先ReLU的话，输入值还未经过标准化，分布相对正态分布偏移较大，直接输入激活函数的话容易造成训练缓慢甚至梯度消失。所以这里需要先对输入值进行BatchNorm，将输入值标准化到靠中心的区间后，再输入激活函数

• BatchNorm是有可学习权重的，详见Paper

LayerNorm（Layer Normalization）

层归一化

• BN对某中间层的单个神经元进行归一化操作，LN对某中间层所有神经元进行归一化

• 由于RNN的神经元净输入分布动态变化，BN无法用于RNN，但LN可以

GroupNorm（Group Normalization）

Paper : Group Normalization

组标准化

BatchNorm受batch_size影响，在batch_size较小时，计算出的均值与方差不能够代表整体数据的均值与方差，错误率较高。

• GroupNorm不依赖于batch_size，它将channels划分为几个Group，计算每个Group上的均值与方差，不受batch_size大小的影响

• BatchNorm：batch方向做标准化，计算N * H * W的均值方差

• LayerNorm：channel方向做标准化，计算C * H * W的均值方差

• InstanceNorm：一个channel内做标准化，计算H * W的均值方差

• GroupNorm：将channel划分为几个group，在group内做标准化，计算(C // G) * H * W的均值方差

WeightNorm（Weight Normalization）

权重归一化

• 之前的方式都是对输入数据进行归一化，而WN对神经网络的连接权重进行归一化：通过再参数化（Reparameterization）将连接权重分解为长度和方向两种参数

  • 例如${\mathbf{a}}^{(l)}=f\left(\mathbf{W}{\mathbf{a}}^{(l-1)}+\mathbf{b}\right)$，可将参数$W$再参数化为

    $${\mathbf{W}}_{i,:}=\frac{g_i}{\Vert {\mathbf{v}}_i\Vert }{\mathbf{v}}_i,1\le i\le M_l$$
    $g_i$和$v_i$为新引入的参数

• 由于神经网络权重经常共享，权重往往比神经元数量要少，因此权重归一化的开销比较小

Local Response Normalization（LRN）

局部响应归一化，通常运用在基于卷积的图像处理上

• 假设一个卷积层的输出特征图为$\mathbf{Y}\in {\mathbb{R}}^{M^{\prime }\times N^{\prime }\times P}$，即长×宽×通道数，令${\mathbf{Y}}^p\in {\mathbb{R}}^{M^{\prime }\times N^{\prime }}$，$1\le p\le P$。局部响应归一化是对邻近的特征映射进行局部归一化

  $$\begin{array}{rl}{\hat{\mathbf{Y}}}^p& ={\mathbf{Y}}^p/{\left(k+\alpha \sum _{j=\max \left(1,p-\frac{n}{2}\right)}^{\min \left(P,p+\frac{n}{2}\right)}{\left({\mathbf{Y}}^j\right)}^2\right)}^{\beta }\\ & \triangleq {\mathrm{LRN}}_{n,k,\alpha ,\beta }\left({\mathbf{Y}}^p\right),\end{array}$$
  上述运算按逐元素计算，$n,k,\alpha ,\beta$为超参数，$n$为局部归一化的特征窗口大小。在AlexNet中，这些超参的取值为$n=5,k=2,\alpha =10{\mathrm{e}}^{-4},\beta =0.75$

• LRN应用在激活函数之后，只对邻近的神经元进行局部归一化

• LRN可以用侧抑制（lateral inhibition）来理解，即活跃神经元对相邻神经元具有抑制作用

• 与Pooling相比，LRN作用于Tensor中同一位置的邻近特征通道神经元，而Pooling作用于Tensor某一个特征通道内部邻近位置的神经元

以张量坐标角度理解Normalization

Understanding Normalization from the Perspective of the Coordinates of Tensor

• 以二维张量下的Batch Normalization为例

  $$\mathbf{X}\in {\mathbb{R}}^{N\times D}$$

  $$\mathbf{\gamma },\mathbf{\beta }\in {\mathbb{R}}^D$$

  $$\begin{array}{rl}& {\mathbf{\mu }}_j=\frac{1}{N}\sum _{i=1}^N{\mathbf{X}}_{i,j}\\ & {\mathbf{\sigma }}_j^2=\frac{1}{N}\sum _{i=1}^N{\left({\mathbf{X}}_{i,j}-{\mathbf{\mu }}_j\right)}^2\end{array}$$

  $$\begin{array}{rl}{\hat{\mathbf{X}}}_{i,j}& =\frac{{\mathbf{X}}_{i,j}-{\mathbf{\mu }}_j}{\sqrt{{\mathbf{\sigma }}_j^2+ϵ}}\\ {\mathbf{Y}}_{i,j}& ={\mathbf{\gamma }}_j{\hat{\mathbf{X}}}_{i,j}+{\mathbf{\beta }}_j\end{array}$$

  • 二维输入张量$X$具有两个坐标$i,j$，对每个$j$都在$i$（即batch维度）上进行Normalization

  • 对于一个方阵，分别对每一列的数据计算均值与方差并分别对每一列进行Normalization

  • 可学习参数$\gamma ,\beta$是每一个坐标$j$独有的（毕竟拉回正态分布用的都是各自的均值方差，所以这里也是有各自每一列独享的权重）

• 多维张量的情况也类似，例如三维张量有三个坐标$i,j,k$，对每个$j$与$k$的组合都在$i$上进行Normalization。甚至可以直接把多维张量当成二维张量来处理，把$j,k$维度展平成一个维度，变成二维计算，本质上是一样的

• 由于BN的参数是对每一列向量独有的，所以RNN这种序列模型就没法用BN，至少从参数角度来考虑，$[16,100,32]$，$[16,200,32]$，Sequence Length不一样，参数shape都没法统一（展成二维张量，第二个维度的shape由于Sequence Length不固定所以也不固定，又因为可学习参数是对每一列独享的，所以参数shape也没法固定）。假设训练最多只有500 Sequence Length，测试出了个600的，那就没参数给他做变换了（虽然可以拉回正态分布，但后续的操作没法完成了）

• 对于其他的Normalization，如Layer Normalization等，本质上和Batch Normalization一样，只不过从坐标角度理解就是针对不同的坐标进行Normalization

  以输入张量$[B,C,H,W]$为例

  • Batch Normalization就是对B这个维度下的坐标进行Normalization

  • Layer Normalization对C这个维度下的坐标进行Normalization。与BN一样，可以将其余三个维度BHW展平处理

    • 其实本质上就是Normalization是针对shape不固定的维度进行的（其余维度需固定），例如LSTM的输入第二维不固定，所以不能用BN，但能用LN去Nomalization第二维，因为其他两维都是固定的