深度学习-layernorm、batchnorm和RMSNorm

1.归一化可以调整输入数据特征的分布，使其分布更稳定，在训练时可以缓解梯度消失或梯度爆炸问题。

2. 归一化可以将不同特征的值范围映射到相似的区间，有助于优化算法（如梯度下降）更快速地找到全局最优解或局部最优解。有助于加速模型的收敛过程。若各个特征的分布范围差异过大，会影响梯度下降的迭代步数以及梯度更新的难度，从而影响模型的收敛。

3. 归一化有助于使模型更好地泛化到未见过的数据。当输入数据归一化后，模型在训练过程中能够更好地学习到数据的统计特性，从而提高其对新数据的适应能力。

不同点：

BN：不同样本同一特征做标准化，抹杀了同一特征之间的大小关系，保留了不同特征之间的大小关系。训练过程中需要保存每个神经元的均值和方差。更适合CV领域。
LN：对同一样本的不同特征做标准化（标准正态分布），抹杀了不同样本间的大小关系，但是保留了一个样本内不同特征之间的大小关系。更适用于NLP领域。（句子长度不一）稳定梯度变化，层归一化保持了每层输出的均值方差稳定，可以减少网络对训练数据分布的依赖，降低了过拟合的风险，从而提高模型的泛化能力。

RMSNorm：是layernorm的改进版本。RMSNorm通过移除均值计算，简化了层归一化的计算，有助于梯度稳定性和模型泛化

原：