Transformer: Layer Normalization (LN) 和 Instance Normalization (IN)

Layer Normalization (LN) 和 Instance Normalization (IN) 是两种常用的归一化方法，在深度学习中特别是卷积神经网络和循环神经网络中被广泛使用。它们有助于加快模型收敛速度并提高模型的性能。下面详细介绍两者的不同之处：

Layer Normalization (LN)

定义： Layer Normalization 是在整个层（layer）上进行归一化处理，即对每个样本在一个层中的所有神经元的激活值进行归一化。

公式：
${\hat{x}}_i=\frac{x_i-\mu }{\sqrt{{\sigma }^2+ϵ}}$
其中，$\mu$ 是当前层的均值，${\sigma }^2$ 是当前层的方差，$ϵ$ 是一个小常数，用于避免除以零。

特点：

1. 应用范围： 适用于循环神经网络（RNN）和全连接层等。
2. 归一化维度： 在每个样本的所有神经元上进行归一化。
3. 优点： 在处理序列数据时，效果优于 Batch Normalization，减少了小批量数据对归一化的影响。

Instance Normalization (IN)

定义： Instance Normalization 是在每个实例（即每个样本）的每个通道上进行归一化处理。

公式：
${\hat{x}}_{i,j,k}=\frac{x_{i,j,k}-{\mu }_{i,j}}{\sqrt{{\sigma }_{i,j}^2+ϵ}}$
其中，${\mu }_{i,j}$ 是第 $i$ 个样本第 $j$ 个通道的均值，${\sigma }_{i,j}^2$ 是第 $i$ 个样本第 $j$ 个通道的方差，$ϵ$ 是一个小常数，用于避免除以零。

特点：

1. 应用范围： 适用于图像生成任务，如风格迁移等。
2. 归一化维度： 在每个样本的每个通道上进行归一化。
3. 优点： 保持图像的整体风格一致性，更适合图像风格迁移等任务。

主要区别

1. 归一化维度不同：

• LN 是在一个样本的所有神经元上进行归一化。
• IN 是在一个样本的每个通道上进行归一化。

2. 应用场景不同：

• LN 适用于处理序列数据，如自然语言处理中的循环神经网络。
• IN 适用于图像生成和风格迁移等任务。

3. 效果不同：

• LN 在处理小批量数据时具有优势，可以避免小批量数据带来的归一化问题。
• IN 在图像风格迁移任务中效果更好，能够保持图像的风格一致性。

总结

Layer Normalization 和 Instance Normalization 是深度学习中两种重要的归一化技术，它们分别在不同的任务和场景中发挥重要作用。理解和正确使用这两种归一化方法，可以显著提升模型的性能和收敛速度。