AdamW优化器简单理解

1.SGD

L2 regularization 和 Weight decay 只在SGD优化的情况下是等价的。

2.自适应学习率算法

Adam自动调整学习率，大幅提高了训练速度，也很少需要调整学习率，但是有相当多的资料报告Adam优化的最终精度略低于SGD。

问题出在哪呢，其实Adam本身没有问题，问题在于目前大多数DL框架都是在优化器之前加上L2正则项来替代weight decay。

3. Adam vs AdamW

4. 图示分析

• 横纵坐标分别是不同的weight decay和learning rate的组合;
• 上方可以看到, 原始的实现方法, 最优化区域很小, 而且learning rate和weight decay有极大的相关性, 也就是说固定一个去调整另一个, 马上就会结果变差；
• 而下边作者提出的实现方法, 最优化区域明显增大, 固定一个去调整另一个, 才会真正的实现结果优化, 找到最优的参数组合.