optimizer(三) Adam 系列

已于 2022-05-13 22:03:04 修改
阅读量5k 收藏 8
点赞数 1
文章标签： 深度学习
于 2022-05-13 16:46:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuhao1205/article/details/124753498
版权
本文介绍了Adam优化器系列，包括基础版Adam、AdamW、Adamax、NAdam和RAdam。Adam结合了RMSProp的自适应学习率与动量法，通常比SGD表现更好。AdamW通过正确实现权重衰减提供了改进，Adamax是Adam的变种，NAdam引入了Nesterov动量，RAdam通过动态控制学习率避免局部最优。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

学习记录，如有错误请指出，感谢大家指导建议。

基础版Adam

Adam是我们现在用的最多的优化器，他是将adaptive 和momentum结合在一起。ada部分参考了RMSProp，momentum就是我们熟知的动量法了。对于RMSProp有疑问的同学可以参考我上一篇的文章。

optimizer(二) RMSProp_黑野桥的博客-CSDN博客学习记录，如有错误请指出，感谢大家指导建议。上一篇讲了Adamgrad优化器，如果下文中对于矩阵或者向量的计算形式有疑问可以参考上一篇文章，上一篇文章详细描述了Adamgrad的计算过程，而RMSProp和Adamgad是几乎一摸一样的。Optimizer （一）Adagrad 矩阵形式公式理解_黑野桥的博客-CSDN博客学习记录，如有错误请指出，感谢大家指导谢大家指导建议。本篇记录来自medium原网址Adagrad的特点在于对于每一个参数的学习率是不同的，除了公共学习率 之外，每一个参数的学习.https://blog.csdn.net/wuhao1205/a

最低0.47元/天 解锁文章
黑野桥
关注
Pytorch自定义优化器Optimizer简单总结(附AdamW代码分析)
Marcus-Bao的个人主页
03-26 6323
写在前面 虽然pytorch,tensorflow等主流框架已经为我们内置了很多已经被广泛使用的优化算法，比如SGD，Adam，Adagrad等等，但是有的时候往往需要对优化器做一定的改动，才能使我们的模型收敛到最优解；或者说我们就是对SGD系列算法展开研究，发现了其中的问题并且提出了一个更好的优化器，如何把他封装到pytorch或者tensorflow里呢？让其可以简单的使用。 本文就针对pytorch重载Optimizer进行简单的讲解，接下来的几篇还会逐步讲解，如何自己写cuda，如何自己定制back
优化算法：Adam 原理与代码实例讲解
AI天才研究院
07-06 1356
优化算法：Adam 原理与代码实例讲解 关键词： Adam Optimizer Adaptive Moment Estimation Optimization Algorithms Machine Learning
【深度学习】Adam优化器
九筠的博客
11-16 5548
Adam（Adaptive Moment Estimation）是一种优化算法，广泛应用于神经网络的训练过程中。它结合了自适应学习率和动量的概念，旨在提高梯度下降算法的效率和收敛速度。Adam算法的核心思想是根据历史梯度的一阶矩估计（均值）和二阶矩估计（方差）自适应地调整学习率。具体来说，Adam算法会计算每个模型参数的梯度的指数移动平均值和指数移动平均值的平方根，然后使用这些平均值来调整每个参数的学习率。这样可以让学习率在训练过程中自适应地适应不同参数的梯度变化情况，从而提高训练的效果。
Adam优化算法(Adam optimization algorithm)
dianyanxia的博客
08-07 1万+
Adam优化算法(Adam optimization algorithm) Adam优化算法基本上就是将Momentum和RMSprop结合在一起。 初始化 2.在第t次迭代中，用mini-batch梯度下降法计算出dw和db 3.计算Momentum指数加权平均数 4.用RMSprop进行更新 5.计算Momentum和RMSprop的修正偏差 6更新权重 其中Adam参数配置有:α 学习率/ β1 一阶矩估计的指数衰减率如0.9 β2 二阶矩估计的指数衰减率如0.999 该超.
Python 梯度下降法（五）：Adam Optimize
最新发布
一个专注于机器学习基础与实战的技术博客，内容涵盖算法推导、模型实现、数学原理与代码实践。用通俗的语言解析复杂概念，记录学习过程中的思考与总结，适合机器学习爱好者和从业者参考。
01-31 1667
Adam 算法结合了Adagrad和RMSProp算法的优点。Adagrad 算法会根据每个参数的历史梯度信息来调整学习率，对于出现频率较低的参数会给予较大的学习率，而对于出现频率较高的参数则给予较小的学习率。RMSProp 算法则是对 Adagrad 算法的改进，它通过使用移动平均的方式来计算梯度的平方，从而避免了 Adagrad 算法中学习率单调下降的问题。
Optimizer(优化器) -- SGD、Momentum、Adam等介绍
weixin_45760718的博客
09-08 2484
在学习RL代码过程中，对优化器的概念与作用一直不是很清晰，因此重新学习记录一下。
Tensorflow中优化器--AdamOptimizer详解
热门推荐
AI黑板报的专栏
11-13 6万+
一.什么是Adam算法？ Adam 这个名字来源于自适应矩估计（Adaptive Moment Estimation），也是梯度下降算法的一种变形，但是每次迭代参数的学习率都有一定的范围，不会因为梯度很大而导致学习率（步长）也变得很大，参数的值相对比较稳定。 如果一个随机变量 X 服从某个分布，X 的一阶矩是 E(X)，也就是样本平均值，X 的二阶矩就是 E(X^2)，也就是样本平方的平均值。 A...
优化算法optimization：Adam
八门金锁的技术博客
12-15 531
Adam算法 提出动机 Adam算法在RMSProp算法基础上对小批量随机梯度也做了指数加权移动平均。 算法 给定超参数0≤β1<10 \le \beta_1 < 10≤β1​<1（算法作者建议设为0.9），和超参数0≤β2<10 \le \beta_2 < 10≤β2​<1（算法作者建议设为0.999）。 对每次迭代做如下改动 vt=β1vt−1+(1−β1)gtst=β2st−1+(1−β2)gt∘gt v_t = \beta_1 v_{t-1} + (1-\beta
Optimizer Optimizer
06-01
编译器优化包括了诸如删除未使用的变量、常量折叠、循环展开、 Dead Code Elimination等一系列技术，旨在提高代码的运行速度和效率。 2. **数据库查询优化**： - 在数据库领域，优化器是解析SQL查询并选择最佳执行...
optimizer.py
11-20
这类文件扮演着至关重要的角色，因为它们提供了一系列方法来调整模型参数，以最小化损失函数或提高目标性能。优化器的核心功能是通过迭代过程对网络参数进行更新，这个过程通常称为训练。 在机器学习中，优化算法的...
【NLP 11、优化器 ② Adam优化器】
m0_73983707的博客
12-08 1141
Adam（Adaptive Moment Estimation）是一种基于梯度的优化算法，用于更新神经网络等机器学习模型中的参数。它结合了动量法（Momentum）和自适应学习率方法（如Adagrad和RMSProp）的优点，能够在训练过程中自适应地调整每个参数的学习率，并且利用动量来加速收敛和抑制震荡。
python优化算法_深度学习中的优化算法（Optimizer）理解与python实现
weixin_39538789的博客
11-28 964
本篇笔记将介绍深度学习中几种优化算法，SGD，Momentum，Nestrov，AdaGrad，RMSprop和Adam的理解以及简单的python实现一、SGD随机梯度下降法不用多说，每一个参数按照梯度的方向来减小以追求最小化损失函数更新方式Python实现class SGD:def __init__(self, lr=0.01):self.lr = lrdef update(self, par...
优化器（凸性、梯度、动量、Adagrad、RMSProp及Adam优化）
zhu_xian_gang的博客
10-27 801
优化器（Optimizer）是机器学习和深度学习中的一个重要组件，用于调整模型参数以最小化（或最大化）损失函数。优化器的主要目标是通过更新模型的参数，使损失函数的值最小化。它是训练模型的关键组成部分，帮助模型逐渐收敛到最佳参数配置，以提高模型的性能。1、深度学习模型大多是非凸2、小批量随机梯度下降是最常用的优化算法3、冲量对梯度做平滑4、Adam对梯度做平滑，且对梯度各个维度值做重产整。
TensorFlow优化算法 tf.train.AdamOptimizer 简介
python内置函数set()
04-01 2971
AdamOptimizer是TensorFlow中实现Adam算法的优化器。Adam即Adaptive Moment Estimation（自适应矩估计），是一个寻找全局最优点的优化算法，引入了二次梯度校正。Adam 算法相对于其它种类算法有一定的优越性，是比较常用的算法之一。 一、算法流程 初始化： 更新规则： 二、 参数定义 __init__( learning_rate=0.0...
优化器(Optimizer)（SGD、Momentum、AdaGrad、RMSProp、Adam）
tcn760的博客
04-05 5万+
文章目录3.1、传统梯度优化的不足(BGD,SGD,MBGD)3.1.1 一维梯度下降3.1.2 多维梯度下降3.2、动量(Momentum)3.3、AdaGrad算法3.4、RMSProp算法3.5、Adam算法 优化器在机器学习、深度学习中往往起着举足轻重的作用，同一个模型，因选择不同的优化器，性能有可能相差很大，甚至导致一些模型无法训练。所以了解各种优化器的基本原理非常重要。下面介绍各种常用优化器或算法的主要原理，及各自的优点或不足。 3.1、传统梯度优化的不足(BGD,SGD,MBGD) BGD、S
tensorflow学习（8）- 使用AdamOptimizer优化器优化手写数字识别
qq_37668436的博客
04-04 1530
前言 上一节：tensorflow学习（7）- 使用Dropout优化手写数字识别   上一节使用Dropout优化手写数字识别，使得识别率已经达到95%以上，但是我们手写数字识别在网络上并不复杂，而且训练集只是在万级别也不是很大，所以可以不必使用Dropout来提高准确率，这一节使用修改优化器的方式来优化识别。 AdamOptimizer优化器 def __init__(self, lear...
机器学习之优化器keras.optimizers.Adam()详解
出门左拐是海的博客
05-10 3万+
优化器keras.optimizers.Adam()详解 1.简介 在监督学习中我们使用梯度下降法时，学习率是一个很重要的指标，因为学习率决定了学习进程的快慢（也可以看作步幅的大小）。如果学习率过大，很可能会越过最优值，反而如果学习率过小，优化的效率可能很低，导致过长的运算时间，所以学习率对于算法性能的表现十分重要。而优化器keras.optimizers.Adam()是解决这个问题的一个方案。其大概的思想是开始的学习率设置为一个较大的值，然后根据次数的增多，动态的减小学习率，以实现效率和效果的兼得。 2.
Adam优化器系列哪个最好用
12-31
### 不同变种的Adam优化器及其特点 #### Adam Adam是一种广泛使用的自适应学习率方法，其核心在于通过一阶矩估计和二阶矩估计来动态调整每个参数的学习率。然而，在某些情况下，由于二阶动量的影响，可能导致算法难以找到全局最优解[^1]。 ```python optimizer = torch.optim.Adam(model.parameters(), lr=0.001, betas=(0.9, 0.999)) ``` #### Adamax 作为Adam的一个变体，Adamax保留了Adam的主要特性，但在实现上有所不同。具体来说，它采用了无穷范数代替L2范数来进行更新操作。这种变化使得Adamax更适合处理具有稀疏梯度的任务，尽管会带来一定的计算开销增加[^2]。 ```python optimizer = torch.optim.Adamax(model.parameters(), lr=0.001, betas=(0.9, 0.999)) ``` #### RMSprop 虽然严格意义上不属于Adam家族的一员，但是RMSprop同样属于自适应学习率优化算法之一。相比Adam而言，RMSprop更侧重于解决长期依赖问题，并且对于非稳态环境表现良好。不过需要注意的是，当面对复杂模型训练时，可能需要更多的调参工作。 ```python optimizer = torch.optim.RMSprop(model.parameters(), lr=0.01, alpha=0.99) ``` #### Self-Attention GAN (SAGAN) 不同于上述三种基于梯度下降原理设计出来的优化器，Self-Attention机制被引入到生成对抗网络中形成了一类新的架构——即SAGAN。该结构特别适合用于涉及高维数据集（如高清图片）生成任务当中，因为注意力机制能够帮助捕捉远距离像素间的关系从而提高生成质量[^3]。 ```python import torch.nn as nn from torchvision.models import resnet50 class Generator(nn.Module): def __init__(self): super(Generator, self).__init__() # 定义生成器的具体层... class Discriminator(nn.Module): def __init__(self): super(Discriminator, self).__init__() backbone = resnet50(pretrained=True) layers = list(backbone.children())[:-1] self.feature_extractor = nn.Sequential(*layers) discriminator = Discriminator() generator = Generator() criterion = nn.BCELoss() # 或其他损失函数 optimizer_D = torch.optim.Adam(discriminator.parameters()) optimizer_G = torch.optim.Adam(generator.parameters()) for epoch in range(num_epochs): for i, data in enumerate(dataloader): real_images = data['image'].to(device) valid = Variable(Tensor(real_images.size(0), 1).fill_(1.0), requires_grad=False) fake = Variable(Tensor(real_images.size(0), 1).fill_(0.0), requires_grad=False) optimizer_D.zero_grad() z = Variable(torch.randn((real_images.shape[0], latent_dim)).to(device)) gen_imgs = generator(z) d_real_loss = criterion(discriminator(real_images), valid) d_fake_loss = criterion(discriminator(gen_imgs.detach()), fake) d_loss = (d_real_loss + d_fake_loss) / 2 d_loss.backward() optimizer_D.step() optimizer_G.zero_grad() g_loss = criterion(discriminator(gen_imgs), valid) g_loss.backward() optimizer_G.step() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值