通俗理解 Adam 优化器

最新推荐文章于 2024-07-16 15:00:29 发布
最新推荐文章于 2024-07-16 15:00:29 发布
阅读量1w 收藏 70
点赞数 7
分类专栏： 机器学习 深度学习 NLP 文章标签： NLP adam算法 优化器 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lch551218/article/details/116936752
版权
机器学习 同时被 3 个专栏收录
72 篇文章 12 订阅
订阅专栏
深度学习
31 篇文章 3 订阅
订阅专栏
NLP
23 篇文章 12 订阅
订阅专栏

Adam吸收了Adagrad（自适应学习率的梯度下降算法）和动量梯度下降算法的优点，既能适应稀疏梯度（即自然语言和计算机视觉问题），又能缓解梯度震荡的问题
常见优化器的详细解析请参考此文章->#深度解析# 深度学习中的SGD、BGD、MBGD、Momentum、NAG、Adagrad、Adadelta，RMSprop、Adam优化器

Adma的公式如下，这里我们主要分析红色的标记的这3行公式：
在这里插入图片描述
公式1：计算 历史梯度的一阶指数平滑值，用于得到带有动量的梯度值
公式2：计算 历史梯度平方的一阶指数平滑值，用于得到每个权重参数的学习率权重参数
公式3：计算变量更新值，由公式3可知，变量更新值正比于历史梯度的一阶指数平滑值，反比于历史梯度平方的一阶指数平滑值；

历史梯度的一阶指数平滑

历史梯度的一阶指数平滑（也叫一阶矩加权均值）可以理解为求历史梯度的加权平均，距离当前时刻距离越远权重越小，这里类似于求历史梯度的L1范数，这个思想来自于 动量梯度下降算法

如果权重参数更新时，某一维度存在较大震荡（梯度更新值正负交替），那么对当前梯度使用一阶指数平滑（对历史梯度进行正负抵消），可以得到一个较小的梯度值

如果变量在某一维度更新时不存在较大震荡，且在在某一方向上存在稳定较大的梯度更新，那么通过一阶指数平滑后会得到一个较大的值。

总的来说，历史梯度的一阶指数平滑就是使用历史梯度信息对当前梯度进行一个修正（消除变量更新时的震荡），从而得到一个稳定的梯度更新值

历史梯度平方的一阶指数平滑

历史梯度平方的一阶指数平滑（也叫二阶矩加权均值）可以理解为求历史梯度平方的加权平均，距离当前时刻距离越远权重越小，这里类似于求历史梯度的L2范数，这个思想来自于自适应学习率梯度下降算法

因为历史梯度平方的一阶指数平滑的作用就是使每个参数的学习率不同，因此这里我们将学习率参数 η \eta η 和 v t + ϵ \sqrt{v_t}+\epsilon vt​ ​+ϵ 看作一个整体 η v t + ϵ \frac{\eta}{\sqrt{v_t}+\epsilon} vt​ ​+ϵη​，这里我们简单称他为自适应学习率

在迭代过程中，如果某一维度一直以很小的梯度进行更新，证明此方向梯度变换较为稳定，因此可以加大学习率，以较大的学习率在此维度更新，体现在公式上就是：对历史梯度平方进行一阶指数平滑后，公式2会得到一个很小的值，公式3中的自适应学习率会相对较小

相反，某一维度在迭代过程中一直以很大的梯度进行更新，明此方向梯度变换较为剧烈（不稳定），因此可减小学习率，以较小的学习率在此维度更新 体现在公式上就是：对历史梯度平方进行一阶指数平滑后，公式2则会得到一个很大的值，公式3中的自适应学习率会相对较大

历史梯度平方的一阶指数平滑也可以解决梯度稀疏的问题；频繁更新的梯度将会被赋予一个较小的学习率，而稀疏的梯度则会被赋予一个较大的学习率，通过上述机制，在数据分布稀疏的场景，能更好利用稀疏梯度的信息，比标准的SGD算法更有效地收敛。

综上所述，Adam 优化器可以根据历史梯度的震荡情况和过滤震荡后的真实历史梯度对变量进行更新

关于 Adam 和 MSGD算法的比较请参考此文章->#深入探究# Adam和SGDM优化器的对比

energy_百分百
关注
  • 7
    点赞
  • 踩
  • 70
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
优化算法：Adam 原理与代码实例讲解
禅与计算机程序设计艺术
07-06 766
优化算法：Adam 原理与代码实例讲解 关键词： Adam Optimizer Adaptive Moment Estimation Optimization Algorithms Machine Learning
强化学习算法中的Adam优化器
AI架构设计之禅
05-21 523
1. 背景介绍 1.1 强化学习的兴起与挑战 强化学习（Reinforcement Learning，RL）作为机器学习的一个重要分支，近年来取得了令人瞩目的成就，其应用范围涵盖了机器人控制、游戏AI、自然语言处理等众多领域。强化学习的核心思想是让智能体（Agent）通过与环境的交互学习到最优的
Adam优化器在智能寻优领域的表现
最新发布
m0_59257547的博客
07-16 502
引用自：Adam: A Method for Stochastic Optimization首先介绍一下Adam优化器，作为地表最强神经网络优化器，引用次数高达十八万在所有论文引用次数中都是排进前十的！其在深度学习领域可谓无人不知无人不晓。Adam优化器是由Diederik P. Kingma和Jimmy Ba在2014年提出的，其结合了AdaGrad和RMSProp的优点，它通过维护梯度的一阶矩（动量）和二阶矩（未中心化方差）的指数加权移动平均，以自适应的方式调整每个参数的学习率。
[work] Adam优化器
This is bill的专属博客
10-16 3500
基于随机梯度下降（SGD）的优化算法在科研和工程的很多领域里都是极其核心的。很多理论或工程问题都可以转化为对目标函数进行最小化的数学问题。 按吴恩达老师所说的，梯度下降（Gradient Descent）就好比一个人想从高山上奔跑到山谷最低点，用最快的方式（steepest）奔向最低的位置（minimum）。 SGD基本公式   动量(Momentum)     参考链接...
Adam优化器
A1941314856的博客
12-20 2694
Adam优化器介绍 优化器的作用就是为了获得最优的网络参数。 Adam优化器参数介绍： keras.optimizers.Adam(lr=0.001, beta_1=0.9, beta_2=0.99, epsilon=1e-08, decay=0.0) 这个
Adam 优化器
m0_50534425的博客
05-23 3万+
深度学习中的神经网络优化。它结合了RMSProp和Momentum两种优化算法的思想，并且对参数的更新进行了归一化处理，使得每个参数的更新都有一个相似的量级，从而提高训练效果。具体来说，Adam优化器定义了两个指数加权平均值：第一个指数加权平均值是梯度的指数加权平均值，第二个指数加权平均值是梯度的平方的指数加权平均值。1.自适应调整学习率：Adam 优化器可以根据历史梯度信息来自适应地调节学习率，使得在训练初期使用较大的学习率，能够快速收敛，在训练后期使用较小的学习率，能够更加准确地找到损失函数的最小值。
关于Adam优化算法
羊藤枝的博客
06-27 2822
基础知识 矩估计: 一般有：原点矩和中心矩。 随机变量X的n阶原点矩ana_{n}an​定义为an=E(Xn)a_{n}=E\left(X^{n}\right)an​=E(Xn) 根据定义，我们可知： 　　　　一阶原点矩为 E(x)E(\mathrm{x})E(x)。 　　　　二阶原点矩为 E(x2)E\left(\mathrm{x}^{2}\right)E(x2)。 因为样本与总体的原点矩是近似...
ADAM优化算法
zpxyklmwjlq的博客
04-10 2850
Adam 算法根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计动态调整针对于每个参数的学习速率，同时获得了AdaGrad（适应性梯度算法）和RMSProp（均方根传播）算法的优点。算法如下一阶矩估计：m_t=β_1∗m_(t-1)+(1-β_1 )∗g_t二阶矩估计：v_t=β_2∗v_(t-1)+(1-β_2 )∗g_t^2一阶矩估计偏差修正：m'_t=m_t/(1-β_1^t)二阶矩估计偏...
神经网络优化算法：Dropout、梯度消失/爆炸、Adam优化算法，一篇就够了！
mantch
08-19 3774
1. 训练误差和泛化误差 机器学习模型在训练数据集和测试数据集上的表现。如果你改变过实验中的模型结构或者超参数，你也许发现了：当模型在训练数据集上更准确时，它在测试数据集上却不⼀定更准确。这是为什么呢？ 因为存在着训练误差和泛化误差： **训练误差：**模型在训练数据集上表现出的误差。 **泛化误差：**模型在任意⼀个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。 训练...
深度学习之优化器（优化算法）
qq_38375203的博客
06-06 1418
前面已经讲过几中梯度下降算法了，并且给了一个收尾引出这一章节，想看的小伙伴可以去看看这一篇文章：机器学习之梯度下降算法。前面讲过对SGD来说，最要命的是SGD可能会遇到“峡谷”和“鞍点”两种困境峡谷类似⼀个带有坡度的狭长小道，左右两侧是 “峭壁”；在峡谷中，准确的梯度方向应该沿着坡的方向向下，但粗糙的梯度估计使其稍有偏离就撞向两侧的峭壁，然后在两个峭壁间来回震荡。鞍点的形状类似⼀个马鞍，⼀个方向两头翘，⼀个方向两头垂，而中间区域近似平地；⼀旦优化的过程中不慎落入鞍点，优化很可能就会停滞下来(坡度不明显，很可
Pytorch自定义优化器Optimizer简单总结(附AdamW代码分析)
Marcus-Bao的个人主页
03-26 6064
写在前面 虽然pytorch,tensorflow等主流框架已经为我们内置了很多已经被广泛使用的优化算法，比如SGD，Adam，Adagrad等等，但是有的时候往往需要对优化器做一定的改动，才能使我们的模型收敛到最优解；或者说我们就是对SGD系列算法展开研究，发现了其中的问题并且提出了一个更好的优化器，如何把他封装到pytorch或者tensorflow里呢？让其可以简单的使用。 本文就针对pytorch重载Optimizer进行简单的讲解，接下来的几篇还会逐步讲解，如何自己写cuda，如何自己定制back
深度学习优化器+公式推导
curious_undergather的博客
12-17 871
基础优化 1. GD — 梯度下降 1.1 BGD — 批量梯度下降 代码 1.2 SGD — 随机梯度下降 代码 1.3 MBGD — 小批量梯度下降 代码 2. Momentum 2.1 Simple momentum update 2.2 Nesterov momentum update (Nesterov Accelerated Gradient) (NAG) 3. Adaptive learning rate optimization algorithm 3.1.
深度学习基础-优化算法详解
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
02-04 1244
所谓深度神经网络的优化算法，即用来更新神经网络参数，并使损失函数最小化的算法。优化算法对于深度学习非常重要，如果说网络参数初始化（模型迭代的初始点）能够决定模型是否收敛，那优化算法的性能则直接影响模型的训练效率。 了解不同优化算法的原理及其超参数的作用将使我们更有效的调整优化器的超参数，从而提高模型的性能。
adam优化器
m0_70579950的博客
03-24 193
本文简单介绍各类优化器 更新参数模型 是目标更容易达到
优化器-Adam
xingghaoyuxitong的博客
01-20 322
本文比较了手动更新变量来描述了利用Adam更新变量的本质 求函数 y = a**2的极小值 #%% import torch from torch import optim import matplotlib.pyplot as plt #%% 手动更新变量 a = torch.tensor([2],dtype=torch.float32,requires_grad=True) y = a**2 alist = [] for i in range(1000): a.grad = tor
Adam优化器（通俗理解）
热门推荐
BeiErGeLaiDe的博客
07-29 7万+
Adam，名字来自：Adaptive Moment Estimation，自适应矩估计。是2014年提出的一种万金油式的优化器，使用起来非常方便，梯度下降速度快，但是容易在最优值附近震荡。竞赛中性能会略逊于SGD，毕竟最简单的才是最有效的。但是超强的易用性使得Adam被广泛使用。...
Adam优化器（理论、公式、代码）
m0_48923489的博客
03-20 1万+
Adam（Adaptive Moment Estimation）是一种广泛使用的深度学习优化算法，由 Diederik P. Kingma 和 Jimmy Ba 在 2014 年提出。它结合了动量法（Momentum）和 RMSProp 的思想，旨在通过计算梯度的一阶矩估计和二阶矩估计来调整每个参数的学习率，从而实现更高效的网络训练。
Adam优化器总结
不佛的博客
08-30 2万+
根据李宏毅老师的课程，将梯度下降的学习策略和优化器部分做一个梳理。 梯度下降的基本方法是：朝着参数θ\thetaθ的当前梯度ggg的反方向，以η\etaη为步长迈出一步。 一个常见的问题就是如何保证不会落入局部最小值，因此有了Momentum（动量） 的概念。仿照现实世界中物体的惯性，在运动时不仅要看当前这一步往哪里迈，还要考虑之前的运动状态，如果之前的步伐很快，就不应该在一步内急停或者急转弯。这样做的好处是可以跳出一些小坑（局部最小值）。 动量的实现方法也不复杂，就是将前一步的步伐mmm乘上一个参数λ
解释器模式 代码解释加注释 通俗易懂
04-28
解释器模式是一种设计模式，它允许我们定义一种语言，并且可以使用该语言来解释和执行特定的任务。该模式适用于需要实现复杂语言处理的场景，例如编译器、解析器、计算器等。 实现解释器模式需要以下几个元素： - 抽象表达式（Abstract Expression）：定义解释器的接口，通常包括一个解释方法（interpret），该方法的参数通常为一个上下文（Context）对象。 - 终结符表达式（Terminal Expression）：表示语言中的基本单元，例如变量、常量等。 - 非终结符表达式（Nonterminal Expression）：表示语言中的复合结构，通常由多个终结符表达式组成。 - 上下文（Context）：保存解释器解释时所需的状态和信息。 下面是一个简单的例子，假设我们需要计算一个简单的四则运算表达式： ```python # 定义抽象表达式 class Expression: def interpret(self, context): pass # 定义终结符表达式 class Number(Expression): def __init__(self, number): self.number = number def interpret(self, context): return int(self.number) # 定义非终结符表达式 class Plus(Expression): def __init__(self, left, right): self.left = left self.right = right def interpret(self, context): return self.left.interpret(context) + self.right.interpret(context) # 定义上下文 class Context: def __init__(self, text): self.text = text def next(self): if len(self.text) > 0: return self.text.pop(0) else: return None ``` 在上面的代码中，我们定义了一个抽象表达式类 `Expression`，包含一个 `interpret` 方法；终结符表达式 `Number`，表示一个数字；非终结符表达式 `Plus`，表示加法运算；以及上下文类 `Context`，保存语言的状态和信息。 接下来，我们可以使用这些类来解释一个四则运算表达式： ```python # 创建表达式 expr1 = Plus(Number(3), Number(4)) expr2 = Plus(Number(2), expr1) # 创建上下文 context = Context(list(str(expr2.interpret(None)))) # 输出结果 print(expr2.interpret(context)) # 9 ``` 在上面的代码中，我们首先创建了一个四则运算表达式 `2 + 3 + 4`，然后使用上下文类 `Context` 将其转换为一个字符列表 `[2, +, 3, +, 4]`，最后通过调用 `interpret` 方法计算表达式的值。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

energy_百分百

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值