神经网络常见归一化操作总结（BN、LN、IN、SN）

概述

Normalization Layer 归一化层主要用于在神经网络中对数据进行标准化处理，以加速训练和提高模型性能。

• 归一化层的作用是将输入数据进行归一化处理，使得每个特征的均值为0，方差为1，同时学习每个特征的缩放系数和偏移量。
• 这样可以使得神经网络中的每一层输入数据分布更加稳定，有利于提升梯度下降的效果，避免出现梯度消失或梯度爆炸等问题，从而提高模型的泛化能力和准确率。
• 在实际应用中，需要根据具体情况选择适合的归一化层，并结合其他优化技术共同提升模型性能。

Batch Normalization

假设输入特征为 $X\in R^{B\times C\times H\times W}$，其中 $B$ 表示 batch size，$C$ 表示通道数，$H$ 和 $W$ 分别表示高和宽。批归一化的计算过程如下：

1. 对每个通道，计算该通道上所有样本的均值 $\mu$ 和方差 ${\sigma }^2$：

   $${\mu }_c=\frac{1}{B\times H\times W}\sum _{i=1}^B\sum _{j=1}^H\sum _{k=1}^W{X}_{i,c,j,k}$$

   $${\sigma }_c^2=\frac{1}{B\times H\times W}\sum _{i=1}^B\sum _{j=1}^H\sum _{k=1}^W(X_{i,c,j,k}-{\mu }_c{)}^2$$

2. 对每个通道进行标准化，得到标准化后的输出 $\hat{X}$：

   $${\hat{X}}_{i,c,j,k}=\frac{X_{i,c,j,k}-{\mu }_c}{\sqrt{{\sigma }_c^2+ϵ}}$$

   其中 $ϵ$ 是一个很小的常数，避免分母为 0。

3. 对标准化后的输出进行缩放和平移：

   $$Y_{i,c,j,k}={\gamma }_c{\hat{X}}_{i,c,j,k}+{\beta }_c$$

   其中 ${\gamma }_c$ 和 ${\beta }_c$ 分别是可学习的缩放因子和偏移量，用于保留网络中原有的表达能力。

通过批归一化层，可以让每个样本特征在通道维度上具有相同的均值和方差，从而提高模型的泛化能力。另外，批归一化还可以减少梯度消失或梯度爆炸等问题，在训练深度神经网络时比较常用。

Layer Normalization

和 Batch Normalization（BN）不同，它归一化的是每个样本在通道维度上的特征值。具体计算过程如下：

设输入张量 $x$ 的形状为 $B\times C\times H\times W$，其中 $B$ 表示 batch_size，$C$ 表示通道数，$H$ 和 $W$ 表示高度和宽度。

1. 计算平均值和方差

首先，对于每个样本单独计算其在通道维度上的特征值的平均值和方差。令 $x_{b,c,h,w}$ 表示第 $b$ 个样本、第 $c$ 个通道、第 $h$ 行、第 $w$ 列的特征值，则有：

$${\mu }_c=\frac{1}{HW}\sum _{b=1}^B\sum _{h=1}^H\sum _{w=1}^W{x}_{b,c,h,w}$$
$${\sigma }_c^2=\frac{1}{HW}\sum _{b=1}^B\sum _{h=1}^H\sum _{w=1}^W(x_{b,c,h,w}-{\mu }_c{)}^2+ϵ$$

其中 ${\mu }_c$ 表示第 $c$ 个通道的平均值，${\sigma }_c^2$ 表示第 $c$ 个通道的方差，$ϵ$ 是一个极小的正数，用于防止除 0 错误。

2. 归一化

然后，对于每个样本的第 $c$ 个通道上的特征值 $x_{b,c,h,w}$，进行如下计算：

$${\hat{x}}_{b,c,h,w}=\frac{x_{b,c,h,w}-{\mu }_c}{\sqrt{{\sigma }_c^2}}$$

其中 ${\hat{x}}_{b,c,h,w}$ 表示归一化后的特征值。

3. 可学习缩放和平移

最后，为了保留网络的表达能力，在归一化后的特征值上加入可学习的缩放和偏移参数，使得网络可以自由地调整每个通道的表示范围。令 ${\gamma }_c$ 和 ${\beta }_c$ 分别表示第 $c$ 个通道的缩放因子和偏移量，则有：

$$y_{b,c,h,w}={\gamma }_c{\hat{x}}_{b,c,h,w}+{\beta }_c$$

其中 $y_{b,c,h,w}$ 表示经过 LN 归一化后再加入缩放和偏移因子的结果。

需要注意的是，与 BN 相比，LN 对 batch_size 的大小不敏感，适用于不同大小的 batch_size。此外，由于 LN 在通道维度上进行归一化，因此对卷积层和全连接层都适用。但与 BN 相比，LN 的计算开销较大，因此在实际应用中需要权衡计算效率和模型表达能力的平衡。

Instance Normalization

该方法归一化的是每个样本在通道和空间维度上的特征值。具体计算过程如下：

设输入张量 $x$ 的形状为 $B\times C\times H\times W$，其中 $B$ 表示 batch_size，$C$ 表示通道数，$H$ 和 $W$ 表示高度和宽度。

1. 计算平均值和方差

对于每个样本单独计算其在通道和空间维度上的特征值的平均值和方差。令 $x_{b,c,h,w}$ 表示第 $b$ 个样本、第 $c$ 个通道、第 $h$ 行、第 $w$ 列的特征值，则有：

$${\mu }_{b,c}=\frac{1}{HW}\sum _{h=1}^H\sum _{w=1}^W{x}_{b,c,h,w}$$
$${\sigma }_{b,c}^2=\frac{1}{HW}\sum _{h=1}^H\sum _{w=1}^W(x_{b,c,h,w}-{\mu }_{b,c}{)}^2+ϵ$$

其中 ${\mu }_{b,c}$ 表示第 $b$ 个样本、第 $c$ 个通道上的平均值，${\sigma }_{b,c}^2$ 表示第 $b$ 个样本、第 $c$ 个通道上的方差，$ϵ$ 是一个极小的正数，用于防止除 0 错误。

2. 归一化

然后，对于每个样本的第 $b$ 个样本、第 $c$ 个通道、第 $h$ 行、第 $w$ 列的特征值 $x_{b,c,h,w}$，进行如下计算：

$${\hat{x}}_{b,c,h,w}=\frac{x_{b,c,h,w}-{\mu }_{b,c}}{\sqrt{{\sigma }_{b,c}^2}}$$

其中 ${\hat{x}}_{b,c,h,w}$ 表示归一化后的特征值。

3. 可学习缩放和平移

最后，为了保留网络的表达能力，在归一化后的特征值上加入可学习的缩放和偏移参数，使得网络可以自由地调整每个通道和空间位置的表示范围。令 ${\gamma }_c$ 和 ${\beta }_c$ 分别表示第 $c$ 个通道的缩放因子和偏移量，则有：

$$y_{b,c,h,w}={\gamma }_c{\hat{x}}_{b,c,h,w}+{\beta }_c$$

其中 $y_{b,c,h,w}$ 表示经过 IN 归一化后再加入缩放和偏移因子的结果。

需要注意的是，与 BN 和 LN 相比，IN 对 batch_size 大小不敏感，且更加适用于图像生成等任务，因为它考虑了每个样本在空间维度上的特征值。

Spectral Normalization

一种用于神经网络权重的归一化方法，用来提高模型的泛化能力。谱归一化层主要应用于卷积神经网络中的卷积层、全连接层等参数较多的模型中。

在传统的神经网络中，权重矩阵不具有唯一性，不同权重矩阵可能会导致相同的输出结果。这意味着输入会被映射到不同的空间中，从而导致过拟合等问题。为了解决这个问题，谱归一化通过将每个权重矩阵的范数进行约束，使得每个输入样本都能够被映射到相同的空间中，增强了模型的泛化能力。

具体而言，在卷积层或全连接层中，谱归一化层会对权重矩阵进行奇异值分解，然后将矩阵的谱范数归一化为 1，从而保证每个输入样本都能够被映射到相同的空间中。

SN 计算过程如下：

给定一个 $m\times n$ 的实数矩阵 $W$，要计算其谱范数 $\sigma (W)$，其中 $\sigma (W)$ 等价于矩阵 $W$ 的最大奇异值。

1. 对矩阵 $W$ 进行 SVD（奇异值分解），得到 $W=U\Sigma V^T$。

2. 计算矩阵 $W$ 的谱范数 $\sigma (W)$：$\sigma (W)=\Vert \mathbf{W}{\Vert }_2=\underset{\Vert \mathbf{x}\Vert =1}{\max }\Vert \mathbf{Wx}{\Vert }_2={\sigma }_1$，其中 ${\sigma }_1$ 是矩阵 $W$ 的最大奇异值。

3. 将矩阵 $W$ 归一化：$\tilde{\mathbf{W}}=\frac{\mathbf{W}}{\sigma (W)}$。

对于神经网络中的每一层，将其权重矩阵 $W$ 进行谱范数归一化即可：$\tilde{\mathbf{W}}=\frac{\mathbf{W}}{\sigma (\mathbf{W})}$。这样能够提高模型的鲁棒性和泛化能力，减少过拟合现象。

需要注意的是，在实际应用中，由于奇异值分解比较耗时，谱归一化层通常只在训练时使用，而在测试时直接使用原始权重矩阵进行计算。此外，在实现谱归一化层时，还需要考虑数值稳定性等问题，例如加入一个极小的扰动以避免除以零等情况。

总结

BN（Batch Normalization）、LN（Layer Normalization）和IN（Instance Normalization）与SN（Spectral Normalization）都是归一化方法，但它们的作用对象和计算方式略有不同。

1. BN：适用于批量数据

BN 的计算是在每个 mini-batch 中进行的，主要作用是对 mini-batch 中的输入数据进行标准化，使其均值为 0，方差为 1。这样可以缓解梯度消失问题，加速收敛，并且能够对抗 covariate shift 现象，提高模型的泛化性能。

2. LN：适用于 RNN 等序列数据

LN 主要用于对一维序列数据进行标准化，例如时间序列或自然语言处理中的 RNN 模型。LN 的计算是针对每个样本的所有特征维度进行的，目的是保证在每个时间步上，不同特征的输出具有相同的分布，进而帮助模型更好地学习长期依赖关系。

3. IN：适用于图像数据中的通道维度

IN 则主要用于对图像数据的通道维度进行标准化。在图像生成、风格迁移等任务中，IN 能够较好地保持图像的色调、亮度等信息，从而生成更真实、自然的图像。

4. SN：适用于神经网络权重的归一化

SN 主要应用于神经网络权重的归一化，目的是提高模型的泛化能力，并减少过拟合。SN 通过对权重矩阵进行奇异值分解，将谱范数归一化为 1，增强了模型的鲁棒性和泛化能力。

因此，BN、LN、IN、SN 在计算对象和计算方式上略有不同，但它们的目标都是通过数据的标准化来提高模型的泛化能力和训练效果。需要根据具体任务和数据类型来选择适合的归一化方法。