Layer Normalization

Layer Normalization（层归一化）是一种常用的归一化技术，用于神经网络的每个层的输入进行归一化处理。其公式如下：

对于一个具有特征维度为 \(d\) 的输入 \(x = (x_1, x_2, ..., x_d)\)，Layer Normalization 的计算公式如下：

\[
\text{LayerNorm}(x) = \gamma \odot \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} + \beta
\]

其中：
- \( \text{LayerNorm}(x) \) 表示对输入 \( x \) 进行 Layer Normalization 的结果。
- \(\gamma\) 和 \(\beta\) 是可学习的参数向量，维度均为 \(d\)。它们用于对归一化的结果进行缩放和平移，以便让网络自由地学习调整数据的均值和方差。
- \(\mu\) 是输入 \(x\) 在特征维度上的均值，计算方式为：\(\mu = \frac{1}{d} \sum_{i=1}^{d} x_i\)。
- \(\sigma\) 是输入 \(x\) 在特征维度上的标准差，计算方式为：\(\sigma = \sqrt{\frac{1}{d} \sum_{i=1}^{d} (x_i - \mu)^2}\)。
- \(\epsilon\) 是一个小的常数（例如，\(10^{-5}\)），用于避免除以零的情况。

Layer Normalization 的目标是对每个样本的特征维度进行归一化，使得每个维度上的均值为0，方差为1。这有助于减少不同样本之间的差异，提供更稳定的训练过程。

需要注意的是，Layer Normalization 是在特征维度上进行归一化，与 Batch Normalization（批归一化）不同，后者是在批次维度上进行归一化。因此，Layer Normalization 在处理序列数据等不适合使用批归一化的情况下，往往是一个更好的选择。