AdamW优化器简单理解

最新推荐文章于 2024-08-20 09:10:45 发布
最新推荐文章于 2024-08-20 09:10:45 发布
阅读量7.3k 收藏 11
点赞数 4
分类专栏： 深度学习基础 文章标签： AdamW 优化器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xijuezhu8128/article/details/125543164
版权

1.SGD

L2 regularization 和 Weight decay 只在SGD优化的情况下是等价的。
在这里插入图片描述

2.自适应学习率算法

Adam自动调整学习率，大幅提高了训练速度，也很少需要调整学习率，但是有相当多的资料报告Adam优化的最终精度略低于SGD。

问题出在哪呢，其实Adam本身没有问题，问题在于目前大多数DL框架都是在优化器之前加上L2正则项来替代weight decay。
在这里插入图片描述

3. Adam vs AdamW

在这里插入图片描述
在这里插入图片描述

4. 图示分析

在这里插入图片描述

  • 横纵坐标分别是不同的weight decay和learning rate的组合;
  • 上方可以看到, 原始的实现方法, 最优化区域很小, 而且learning rate和weight decay有极大的相关性, 也就是说固定一个去调整另一个, 马上就会结果变差；
  • 而下边作者提出的实现方法, 最优化区域明显增大, 固定一个去调整另一个, 才会真正的实现结果优化, 找到最优的参数组合.
Nick Blog
关注
专栏目录
【自适应学习率算法】AdamW 优化器工作原理详解：数学公式和实现代码
AI架构设计之禅
03-14 743
AdamW 优化器是Adam优化器的一个变种，它将权重衰减（L2正则化）与Adam优化器结合起来。AdamW的关键在于，它将权重衰减与梯度更新分开处理，这有助于解决L2正则化与自适应学习率算法（如Adam）不兼容的问题。2017 年末，Adam 似乎又重获新生。
adamw和adam 优化器相关讲解.docx
09-16
adamw和adam 优化器相关讲解
AdamW优化器自定义实现教程
最新发布
gitblog_00205的博客
08-20 383
AdamW优化器自定义实现教程 adamwrImplements https://arxiv.org/abs/1711.05101 AdamW optimizer, cosine learning rate scheduler and "Cyclical Learning Rates for Training Neural Networks" https://arxiv.org/abs/1506...
AdamW 优化器
Mark_Australia的博客
03-20 3528
AdamW
【优化器】(六) AdamW原理 & pytorch代码解析
Lizhi_Tech的博客
07-19 2万+
在之前的文章里，我们介绍了集成一阶动量和二阶动量的优化器Adam。AdamW其实是在Adam的基础上加入了weight decay正则化，但是我们上一篇文章里也看到了Adam的代码中已经有正则化，那么两者有什么区别呢？其实AdamW和Adam唯一的区别，就是weight decay的加入方式。在Adam当中，weight decay是直接加入到梯度当中
AdamW优化器（自适应梯度方法）
weixin_38132729的博客
09-08 9243
DECOUPLED WEIGHT DECAY REGULARIZATION解耦权值衰减正则化 摘要 L2正则化和权值衰减正则化对于标准随机梯度下降是等价的(当按学习率重新调整时)，但是在自适应梯度算法的情况下确并非如此，如Adam。虽然这些算法的通用实现采用L2正则化(通常称它为“权值衰减”，这可能是由于我们暴露的不等量性造成的误导)，我们提出了一个简单的修正，通过将权重衰减与采用损失函数的优化步骤解耦，来恢复权重衰减正则化的原始公式。我们提供的经验证据表明，我们提出的修正(i)从标准SGD和Adam的学习
大语言模型高效训练基础知识：优化器AdamW和Adafator
Steve Wang's blog
07-09 3184
Adam优化算法很长一段时间都是比较主流的参数更新算法，也有很多变种，本文介绍在大模型训练过程中使用的AdamW和Adafator。
AdamW, LAMB: 大型预训练模型常用优化器
luv_dusk 的博客
05-21 1万+
按照时间上的迭代顺序，近些年神经网络先后出现了 Gradient Descent (GD)、Momentum、Adaptive Gradient (AdaGrad)、Root Mean Square prop (RMSprop)、Adaptive Moment estimation (Adam) 等优秀的优化器。到如今，大部分 NLP 预训练模型已不再使用这些方法，而是使用 **Adam Weight Decay Regularization (AdamW)** 和去年首度亮相的 **Layer-wise
adamw优化器pytorch实现
08-18
下面是一个简单的示例，展示了如何在 PyTorch 中使用 AdamW 优化器： ```python import torch import torch.nn as nn import torch.optim as optim # 定义模型 class MyModel(nn.Module): def __init__(self): ...
Adam,AdamW,LAMB优化器原理与代码
weixin_41089007的博客
06-28 1万+
参考文献： 1.https://www.fast.ai/2018/07/02/adam-weight-decay/ 2.https://arxiv.org/pdf/1904.00962.pdf 3.https://blog.csdn.net/weixin_43269174/article/details/106255084 前言 说到优化器，我们脑海中首先浮现的可能就是 Stochastic Gradient Descent （SGD）、Adaptive Gradient (AdaGrad)、Root Me
收藏 _ 深度学习优化算法：从SGD到AdamW原理和代码解读1
08-04
本文将探讨一系列从简单到复杂的优化算法，包括SGD（随机梯度下降）、SGD with Momentum（动量SGD）、Nesterov Accelerated Gradient（NAG）以及基于二阶矩估计的算法如AdaGrad、AdaDelta、Adam和AdamW。 **1. SGD...
AdamW优化算法 笔记
热门推荐
jacke121的专栏
02-01 4万+
https://www.jiqizhixin.com/articles/2018-07-03-14 例子： https://github.com/ShikamaruZhang/AdamW optim_adam = torch.optim.Adam(net_Adam.parameters(), lr=LR, betas=(0.9, 0.99), weight_decay = WD) opt...
优化器：Adam与AdamW
qq_40280673的博客
09-21 9691
Adam 和 AdamW 是两种常用的优化器，它们都是基于梯度下降算法的优化器，用于训练神经网络。它们之间的主要区别在于权重衰减（Weight Decay）的处理方式。
Pytorch常用的函数(八)常见优化器SGD,Adagrad,RMSprop,Adam,AdamW总结
qq_44665283的博客
04-23 3265
Pytorch常用的函数(八)常见优化器SGD,Adagrad,RMSprop,Adam,AdamW总结
Adam与AdamW
qq_42251157的博客
02-22 6256
Adam与AdamW
AdamW
weixin_36670529的博客
02-21 6002
RMSProp 由于调整Adagrad学习率时分母上的变量st一直在累加按元素平方的小批量随机梯度，目标函数自变量每个元素的学习率在迭代过程中一直在降低（或不变）。所以，当学习率在迭代早期降得较快且当前解依然不佳时，Adagrad 在迭代后期由于学习率过小，可能较难找到一个有用的解。为了应对这一问题，RMSProp 算法对 Adagrad 做了一点小小的修改 [1]。 算法 不同于 Adag...
Optimizer优化器发展 从SGD到Adam(W)及其对比 (附Pytorch代码)
m0_62965652的博客
04-05 3397
这里将讲解从最初的梯度下降一步一步完善直到AdamW并附有代码
从梯度下降到AdamW机器学习优化方法详解
orangerfun的博客
08-23 1442
1. 梯度下降 在深度学习里，目标函数通常是训练数据集中有关各个样本的损失函数的平均。设 fi(x)f_{i}(x)fi​(x) 是有关索引为 iii 的训练数据样本的损失函数， nnn 是训练数据样本数， xxx 是模型的参数向量，那么目标函数定义为 f(x)=1n∑i=1nfi(x)f(\boldsymbol{x})=\frac{1}{n} \sum_{i=1}^{n} f_{i}(\boldsymbol{x})f(x)=n1​i=1∑n​fi​(x) 目标函数在 xxx 处的梯度计算为 ∇f(x)=1
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值