大语言模型高效训练基础知识：优化器AdamW和Adafator

Prerequsite:Adam优化算法
Adam优化算法很长一段时间都是比较主流的参数更新算法，也有很多变种，本文介绍在大模型训练过程中使用的AdamW和Adafator

AdamW

原论文：Decoupled Weight Decay Regularization

AdamW指的是Adam + Weight Decay（权重衰减）。

Adam相信很多读者已经了解了，Weight Decay解释起来也比较容易，为了防止过拟合，在计算损失函数时需要增加L2正则项：
$$L({\theta }_{new})=L({\theta }_{old})+\gamma /2||{\theta }^2||（公式1）$$

求导计算梯度时：
$$g_t\leftarrow \nabla f_t({\theta }_{t-1})+\gamma {\theta }_{t-1}（公式2）$$

Weight Decay即在正则项前面乘以$\gamma （0<\gamma <1）$，用来缩放正则项产生的影响：L2正则会使得参数趋近于0，Weight Decay减轻这种趋势。

AdamW将Weight Decay应用在优化算法最后一步参数更新，参见下图（下图中的w等价于上面公式内的$\gamma$）。

图中紫色部分和绿色部分等价于公式2，紫色部分是原始的Adam应用Weight Decay的地方，绿色部分是AdamW应用Weight Decay的地方。

代码实现可以参见：理解AdamW

Adafator

原论文：Adafactor: Adaptive Learning Rates with Sublinear Memory Cost

Adafator没有像Adam那样保存权重矩阵每个元素的滑动平均值，而是保存了行维度或者是列维度的滑动平均值之和，这样显著降低了需要参数更新时需要的存储空间。

Adafator详细的计算方法如下图算法所示：

其中$R_t$和$C_t$表示行维度和列维度的梯度平方和，$m$表示行数，$n$表示列数，$1_n^{\top }{R}_t$表示列维度之和，可以使用$C_t{1}_m$即行维度之和等价替换。

这样存储需要的空间就从$nm$的倍数，变为$n+m$的倍数，节省了可观的存储空间。

注意：由于${\beta }_1=0$，相当于去掉了Adam的Weight Decay。这导致相较于Adam算法，Adafator存在表现不稳定的缺陷，有时候能比Adam更快收敛，有时候则不能。

参考文献

1. Optimizer
2. 理解AdamW
3. 权重衰减/权重衰退——weight_decay