为什么Transformer要用Layer Normalization

Transformer模型中使用Layer Normalization主要是为了解决内部协变量位移（Internal Covariate Shift）的问题。

内部协变量位移指的是神经网络层输入的分布在训练过程中发生了变化，从而导致网络难以训练的问题。这是因为每一层的输入都依赖于上一层的输出，而上一层输出的分布会随着训练的进行而发生变化，从而导致每一层的输入分布也发生变化，这种现象称为内部协变量位移。

在传统的深度神经网络中，通常采用批归一化（Batch Normalization）来解决内部协变量位移的问题。

但是在Transformer中，由于每个位置的输入都是一个高维向量，而批归一化会破坏向量的位置信息，因此不适合Transformer。

相比之下，Layer Normalization对每个样本单独计算均值和方差，因此不需要考虑不同位置之间的相关性，也不会破坏向量的位置信息，因此更适合Transformer。此外，Layer Normalization的计算量也比批归一化小，因为它是针对每个样本单独计算均值和方差，而不是对一个批次中的所有样本进行统计。