「Deep Learning」Note on Decoupled Weight Decay Regularization

QQ Group: 428014259
Tencent E-mail：[email protected]
http://blog.csdn.net/dgyuanshaofeng/article/details/88564777

作者之前提出余弦退火学习率调整策略，在这篇论文中提出AdamW。

作者：Ilya Loshchilov, Frank Hutter
单位：University of Freiburg

0 摘要

L2正则化或者权重衰减正则化在标准SGD中是等价的，但是对于自适应梯度算法，比如Adam，则不是一回事。作者解耦出权重衰减因子的最佳选择，使得Adam的泛化性能得以提升，使得其性能与SGD with Momentum相当。

1 介绍

尽管有那么多自适应梯度方法，比如AdaGrad，RMSProp，Adam，和AMSGrad，但是SGD with Momentum的泛化能力还是最强的。自适应梯度方法的较弱泛化能力被研究，而且提出不同假设，有假设说存在尖锐的局部最小，有假设说这是其固有问题。作者研究其中的一些因素，比如，人们在Adam中，用错了权重衰减。在Adam中，作者观察到：
1、L2正则化和权重衰减正则化不是一回事。
2、L2正则化对于Adam不是effective，即无效，有损。这是人们直接使用深度学习库中的L2正则化导致的。
3、权重衰减确实对于SGD和Adam是effective。
4、