DECOUPLED WEIGHT DECAY REGULARIZATION

最新推荐文章于 2025-02-23 18:13:53 发布
最新推荐文章于 2025-02-23 18:13:53 发布
阅读量3.8k 收藏 9
点赞数 3
分类专栏： 论文阅读 文章标签： Adam AdamW
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_33741547/article/details/89153794
版权
本文探讨了在深度学习优化中，Adam等自适应梯度方法使用L2正则化时存在的问题。作者指出，L2正则化在Adam中与Weight Decay不等价，导致权重更新不一致。为解决这个问题，提出了新的算法AdamW，通过将Weight Decay与学习率解耦，提高了优化效果。实验结果显示，这种方法在多种模型上的表现优于传统实现，简化了参数调整，有助于找到最优解。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

引言

Adam作为一个常用的深度学习优化方法，提出来的时候论文里的数据表现都非常好，但实际在使用中发现了不少问题，在许多数据集上表现都不如SGDM这类方法。
后续有许多工作针对Adam做了研究，之前整理过关于优化算法的发展历程：从Stochastic Gradient Descent到Adaptive Moment Estimation，里面也介绍了一些对于Adam效果不好的研究工作。
这篇论文依旧以此作为研究对象，原文参考：DECOUPLED WEIGHT DECAY REGULARIZATION。作者提出了一个简单, 但是很少有人注意的事实, 那就是现行的所有深度学习框架在处理Weight Decay的时候，都采用了L2正则的方法来做，但实际上，L2正则在自适应梯度方法中，如Adam，与Weight Decay并不等价。

算法

Weight Decay在优化算法中的意义，在于限制值比较大的权重，让整体模型的权重更加接近于零，这也是符合奥卡姆剃刀原理的，权重更小的模型被认为是更简单的模型，从而拥有更好的泛化性能。

对于SGD来说，L2正则与Weight Decay都可以用以下形式表达：
在这里插入图片描述
区别在于正则化操作在目标函数加上权

最低0.47元/天 解锁文章
「Deep Learning」Note on Decoupled Weight Decay Regularization
小锋子Shawn
03-23 811
QQ Group: 428014259 Tencent E-mail：403568338@qq.com http://blog.csdn.net/dgyuanshaofeng/article/details/88564777 [1] Decoupled Weight Decay Regularization ICLR 2019 [paper]
pytorch 1.8.0/1.8.1 adamw 报错 UnboundLocalError: local variable ‘beta 1‘ referenced before assignment
weixin_44257107的博客
08-19 259
adamw 报错解决： UnboundLocalError: local variable 'beta 1' referenced before assignment
(2019.01, iclr) Decoupled Weight Decay Regularization
chaoqinyou的博客
02-28 482
讲adamW的论文, 除了纯SGD, L2 != weight_decay
【深度学习】Adam和AdamW优化器有什么区别，以及为什么Adam会被自适应学习率影响
Suasy小易的博客
02-23 2550
Adam 的 L2 正则化 会影响梯度估计值，导致优化器在 自适应学习率的调节 过程中对权重衰减的影响不稳定。 AdamW 的独立权重衰减 让权重衰减成为一个真正的正则化项，而不会干扰梯度估计，使得模型的 泛化能力更强。
decoupled weight decay regularization(解耦权重衰减正则化)
m0_52118763的博客
10-24 1265
decoupled weight decay regularization （解耦权重衰减正则化）解释
探索高效训练：Decoupled Weight Decay Regularization 项目推荐
gitblog_01007的博客
08-20 389
探索高效训练：Decoupled Weight Decay Regularization 项目推荐 AdamW-and-SGDWDecoupled Weight Decay Regularization (ICLR 2019)项目地址:https://gitcode.com/gh_mirrors/ad/AdamW-and-SGDW 在深度学习的海洋中，每一个细微的改进都可能引领我们向更高的精度迈...
深度学习：学习率规划-余弦退火CosineAnnealing和WarmRestart原理及实现
Ten_yn的博客
12-15 1万+
摘要：文献【1】中除了权重衰减还利用了余弦退火(Cosine Annealing)以及Warm Restart，本文介绍这两种方法的原理及numpy和Keras的实现方法，其中Keras实现中继承回调函数Callbacks。
adamw优化器论文
最新发布
04-02
1. **Decoupled Weight Decay Regularization (Loshchilov & Hutter, ICLR 2019)** 这篇文章首次提出了AdamW的概念，并详细阐述了其理论基础与实际应用效果。作者证明当正确实施权重衰减时可以显著提升多种神经...
transformer学习率多少最好
08-20
4. **优化器类型**：Adam等常用优化器有自己的动态学习率策略，如Decoupled Weight Decay Regularization (AdamW) 中，初始学习率通常是0.001到0.0001之间。 5. **warmup周期**：通常建议先用一个相对较高的学习率...
解耦权重衰减正则化：优化Adam的神奇工具
gitblog_00099的博客
05-27 400
解耦权重衰减正则化：优化Adam的神奇工具 AdamW-and-SGDWDecoupled Weight Decay Regularization (ICLR 2019)项目地址:https://gitcode.com/gh_mirrors/ad/AdamW-and-SGDW 在深度学习的世界里，优化器的选择和调整是模型性能的关键因素之一。Decoupled Weight Decay Regul...
【Pytorch with fastai】第 16 章 ：训练过程
sikh_0529的博客
11-18 1235
您现在知道如何为计算机视觉、自然语言处理、表格分析和协同过滤创建最先进的架构，并且知道如何快速训练它们。所以我们完成了，对吧？还不完全是。我们仍然需要探索更多的训练过程。我们在解释了随机梯度下降的基础：将一个 mini-batch 传递给模型，将其与我们的我们在训练循环中从头开始实现这个，并看到 PyTorch 提供了一个简单的nn.SGD类来为我们的每个参数。在本章中，我们将使用灵活的基础构建一些更快的优化器。但这并不是我们想要在训练过程中改变的全部。
【人工智能】“深度学习”这十年：52篇顶级论文带你走完人工智能之路
王博（Kings）的博客
02-14 5010
在看网络时， 看到https://leogao.dev/2019/12/31/The-Decade-of-Deep-Learning/ 进行总结学习 这文章总结了过去十年中在深度学习领域具有影响力的论文，从 ReLU、AlexNet、GAN 到 Transformer、BERT 等。每一年还有很多荣誉提名，包括了众多名声在外的研究成果。 2011 年：激活函数 ReLU 《Deep ...
论文阅读：Fixing Weight Decay Regularization in Adam
Coding
11-22 3019
论文地址：https://arxiv.org/abs/1711.05101 知乎上别人的分享：https://www.zhihu.com/question/67335251 中心思想就是让权重衰减与学习率脱钩。
深度学习：正则化-权重衰减-(2). AdamW实现
Ten_yn的博客
11-16 3622
摘要：第一部分中解释了权重衰减及其现有框架实现的不合理处，这部分从源码出发，在不影响原始Adam优化器使用的情况下添加解耦权重衰减。使用Tensorflow框架。
深度学习：正则化-权重衰减-(1). 原理及实现
Ten_yn的博客
11-08 2213
摘要：介绍权重衰减的基本原理，及其和$L_2$正则化的不同，并分别给出$L_2$正则化和权重衰减的Tensorflow实现方式。使用两者能够等效的随机梯度下降作为例子说明两者的不同。在使用一些自适应优化算法时最好使用解耦的权重衰减而不是$L_2$正则化。
pytorch 正则化公式推导+实现+Adam优化器源码以及weight decay的设置
goodgoodstudy___的博客
11-15 1万+
1.为什么要进行正则化？怎么正则化？ pytorch —— 正则化之weight_decay 上文简述： 误差可分解为偏差，方差与噪声之和，即 误差=偏差+方差+噪声 之和； 偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力； 方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响； 噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界； 正则化策略的目的就是降低方差，减小过拟合的发生。 对于L2norm： 因为公式中存在 因
优化器：Adam
qq_31244453的博客
03-03 1760
Adam文档介绍（Pytorch）： 本文在《Adam:随机优化方法》一书中提出了这一方法。 参数介绍： params (iterable):可迭代对象的参数优化或dict定义参数组; lr (float, optional):学习速率(默认值:1e-3); betas (Tuple[float, float], optional):用于计算的系数(默认值:(0.9,0.999)); eps (float, optional):项加到分母上改进数值稳定性(默认值:1e-8); wei
【优化器】(六) AdamW原理 & pytorch代码解析
热门推荐
Lizhi_Tech的博客
07-19 2万+
在之前的文章里，我们介绍了集成一阶动量和二阶动量的优化器Adam。AdamW其实是在Adam的基础上加入了weight decay正则化，但是我们上一篇文章里也看到了Adam的代码中已经有正则化，那么两者有什么区别呢？其实AdamW和Adam唯一的区别，就是weight decay的加入方式。在Adam当中，weight decay是直接加入到梯度当中
在finetune的时候优化bert中优化器AdamWeightDecayOptimizer
samoyan的博客,记录技术成长~
04-26 1562
# bert源码中的AdamWeightDecayOptimizer class AdamWeightDecayOptimizer(tf.train.Optimizer): """A basic Adam optimizer that includes "correct" L2 weight decay.""" def __init__(self, learning_rate, weight_decay_rate=0.0.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值