[论文笔记]Root Mean Square Layer Normalization

引言

今天带来论文Root Mean Square Layer Normalization的笔记，论文题目是均方根层归一化。

本篇工作提出了RMSNorm，认为可以省略重新居中步骤。

简介

层归一化对Transformer等模型非常重要，它可以帮助稳定训练并提升模型收敛性，因为它能够处理输入和权重矩阵的重新居中(re-centering)和重新缩放(re-scaling)。然而，LayerNorm引入的计算开销使这些改进变得昂贵，并且严重减慢了底层网络的速度。

对于少量归一化层的小型和浅层神经模型来说，这个问题是微不足道的。但当底层网络变得更大更深时，这个问题就变得严重了。

因此，从更快、更稳定的训练(以训练步骤的数量为衡量)中获得的效率提升被每个训练步骤增加的计算成本所抵消，这降低了净效率，如图1所示。

在本篇工作中，作者提出了均方根层归一化(MSNorm)，它仅使用均方根统计数据对一层中神经元的总输入进行正则化。与LayerNo