Layer Normalization（层归一化）里的可学习的参数

参考pyttorch官方文档：

LayerNorm — PyTorch 2.4 documentation

在深度学习模型中，层归一化（Layer Normalization, 简称LN）是一种常用的技术，用于稳定和加速神经网络的训练。层归一化通过对单个样本内的所有激活进行归一化，使得训练过程更加稳定。

关于层归一化是否可训练，其实层归一化中确实包含可训练的参数。具体来说，层归一化会对激活值进行如下变换：

1. 均值和方差的计算：对于给定的输入 （例如一个mini-batch内的数据），计算其均值 μ 和方差 σ2。

2. 归一化：将输入 x 归一化到均值为0和方差为1的分布，计算方式为：

   

   其中，ϵ是一个很小的数，防止除数为0。

3. 缩放和偏移：这是层归一化中可训练的部分。归一化后的值  会被重新缩放和偏移，使用可训练的参数 γ和 β：

   

   这里， 和 是针对每个神经元分别学习的参数，它们允许模型在归一化后恢复最有用的数据表示。

因此，层归一化是包含可训练参数的，这些参数可以在模型训练过程中学习和更新。这一点与批量归一化（Batch Normalization）相似，后者同样使用了可训练的缩放和偏移参数，但归一化的范围和计算方式有所不同。

通过这些可训练的参数，层归一化不仅能帮助模型控制内部数据的分布，还能适应数据的具体特征，这对于模型的泛化能力和学习效率都是非常重要的。