深度学习最优化（四）—— 动量法/Nesterov/Adagrad/Adadelta/RMSprop/Adam/Nadam

最新推荐文章于 2024-06-30 10:56:23 发布
最新推荐文章于 2024-06-30 10:56:23 发布
阅读量4.7k 收藏 14
点赞数 3
分类专栏： 优化问题 深度学习 文章标签： 最优化 adam Adagrad RMSprop Momentum
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/manmanxiaowugun/article/details/83066067
版权
本文详细介绍了深度学习优化中的几种算法，包括SGD、动量法、Nesterov、Adagrad、RMSprop、Adadelta、Adam以及Nadam。这些算法针对梯度下降中的问题提出解决方案，如学习率选择、局部最优等，其中Adam和Nadam结合了一阶和二阶动量，表现出良好的优化效果。
摘要由CSDN通过智能技术生成

1. SGD

现在的SGD一般都指小批量梯度下降，即每一次迭代计算mini-batch的梯度，然后对参数进行更新。

               g_{t}= \triangledown _{\theta_{t-1}}J(\theta_{t-1})

              \triangle \theta _t = -\eta \ast g_t

              \theta _t = \theta _{t-1}+\triangle \theta _t

其中\theta _t是模型参数，J(\theta _{t-1})是模型目标函数，g_t是目标函数的梯度，\eta是学习率。

难点（缺点）：

          （1）学习率的选择。过低收敛缓慢，过高无法收敛。

          （2）“之字形”的出现，即在陡谷（一种在一个方向的弯曲程度远大于其他方向的表面弯曲情况）处震荡。如下图所示

2. 动量法（Momentum）

               m_t=\mu \ast m_{t-1}-\eta g_t

               

最低0.47元/天 解锁文章
谁是momo子
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习优化算法介绍汇总与对比分析.rar
09-10
7. **Adam**：结合了动量和RMSprop的优点，同时引入了偏置校正，使得算法在初期迭代时表现更稳定，成为现代深度学习中最常用的优化器之一。 8. **AdaMax**：基于无穷范数的版本，适用于参数变化范围差异很大的情况...
10_理清深度学习优化函数发展脉络1
08-03
常见的优化器包括随机梯度下降(SGD)、动量优化(Momentum)、自适应梯度(AdaGrad)、根均方误差(RMSProp)、Adaptive Moment Estimation(Adam)以及Nesterov Accelerated Gradient(NAG)等。它们都是基于基本的参数更新...
动量法,,
m0_63642362的博客
06-09 379
动量法
动量法（Momentum）
最新发布
m0_51200050的博客
06-30 788
动量法通过引入动量项，使得参数更新不仅依赖于当前的梯度，还考虑了之前梯度的累积效果，从而加速收敛并减少参数更新时的震荡。通过具体数据示例，可以清楚地看到动量法如何在每次迭代中逐步更新动量项和参数，使模型逐步逼近最优解。
深度学习之动量momentum介绍
yueguang8的博客
06-03 528
动量是深度学习中非常重要的优化技术,它能有效提高训练的稳定性和收敛速度。掌握动量的原理和使用方法对于训练高性能的深度学习模型非常关键。
深度模型中的优化(四)、动量(momentum)和Nesterov动量
weixin_36670529的博客
09-21 2656
一、动量 虽然随机梯度下降仍然是非常受欢迎的优化方法，但其学习过程有时会很慢。动量方法旨在加速学习，特别是处理高曲率、小但一致的梯度，或是带噪声的梯度。动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿该方向移动。从形式上看，动量算法引入了变量v充当速度角色------它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数衰减平均。名称动量来自物理类比，根据牛顿运动定律，负梯度是移动参...
《动手学深度学习》之动量法
乾巽的博客
02-07 663
q: 为什么要用动量法 a: 梯度下降存在以下问题: 一个输入和输出分别为二维向量x=[x1,x2]T和 标量的目标函数f(x)=0.1x12 + 2x22 基于这个目标函数的梯度下降，并演示使用学习率为0.40.4时自变量的迭代轨迹。 import sys sys.path.append("d2lzh_pytorch.py") import d2lzh_pytorch as d2l impo...
优化法——动量法
大脸猫的博客
03-13 1122
动量梯度下降（Gradient Descent With Momentum），简称为动量方法（Momentum），运行速度几乎总是快于标准的梯度下降算法，并且能够解决随机梯度下降所遇到的山谷震荡以及鞍部停滞问题，这部分内容请阅读上一篇博客梯度下降算法。 根据梯度下降算法的参数更新公式： 参数的更新仅仅取决于当前位置的梯度以及步长，试想一下这样一个情境：我们将某一个物品往山谷里丢，在梯度下降算法的规则下，该物品仅仅收到当前触碰在它身上的力，而忽略其他的力，例如重力、空气阻力等等。我们可以把它想象成一张
一个框架看懂优化算法之异同 SGD_AdaGrad_Adam - 知乎1
08-04
本篇文章将从一个通用的框架出发，探讨不同优化算法的异同，包括SGD（随机梯度下降）、SGD with Momentum、Nesterov Accelerated Gradient（NAG）以及AdaGrad等。 首先，我们设定基本的优化问题：目标函数是 ，参数...
优化算法汇总与对比分析.rar
09-10
12. **Nadam**（Nesterov Adam）：将Nesterov动量法与Adam相结合，改善了Adam在某些问题上的收敛速度。 通过对比分析，我们可以看到每种优化器都有其适用场景和局限性。例如，SGD适合小数据集，而Adam在许多情况下...
深度学习三十问！一位算法工程师经历30+场CV面试后总结的常见问题合集（含答案）1
08-04
一阶方法包括：随机梯度下降（SGD）、动量（Momentum）、牛顿动量法（Nesterov动量）、AdaGrad（自适应梯度）、RMSProp（均方差传播）、Adam、Nadam等。 二阶方法包括：牛顿法、拟牛顿法、共轭梯度法（CG）、BFGS、...
优化算法 - 动量法
yingzi的技术博客
09-16 1040
从构造来看，x2⽅向的梯度⽐⽔平x1⽅向的梯度⼤得多，变化也快得多。因此，我们陷⼊两难：如果选择较⼩的学习率，我们会确保解不会在x2⽅向发散，但要承受在x1⽅向的缓慢收敛。在优化问题条件不佳的情况下（例如，有些方向的进展比其他方向慢得多，类似狭窄的峡谷），“加速”梯度还额外享受更有效的好处。新的梯度替换不再指定特定实例下降最陡的方向，而是指向过去梯度的加权平均值的方向。唯一的变化是，在这种情况下，我们将梯度。在本节中，我们将讨论更有效的优化算法，尤其是针对实验中常见的某些类型的优化问题。
momentum 动量法
xddwz的博客
02-20 460
参考：https://blog.csdn.net/tsyccnh/article/details/76270707?utm_source=distribute.pc_relevant.none-task 如果把梯度下降法想象成一个小球从山坡到山谷的过程，那么前面几篇文章的小球是这样移动的：从A点开始，计算当前A点的坡度，沿着坡度最大的方向走一段路，停下到B。在B点再看一看周围坡度最大的地方，沿着这个坡度方向走一段路，再停下。确切的来说，这并不像一个球，更像是一个正在下山的盲人，每走一步都要停下来，用拐杖来
深度学习优化算法之动量法[公式推导]（MXNet）
深度学习领域优质创作者，CSDN博客专家
09-25 1681
熟悉指数加权移动平均的推导
深度学习_09_2_Regularization&动量与学习率&Early Stopping&Dropout
小明2766的博客
04-13 266
09_2_Regularization&动量与学习率&Early Stopping&Dropout Regularization 如何防止或减轻Overfitting Occam’s Razor 奥卡姆剃刀原理 Reduce Overfitting 提供更多数据 模型复杂度降低 浅的模型 regularization Dropout 数据增强 提前终结 Regularization(weigh decay-权值衰减) 公式为 左边是二分类问题的cross entropy
优化算法2--动量法
chenjiale5的博客
08-01 1068
起始点a到b点的梯度下降记为n1 b点到c点的实际梯度由两方面组成 v (t) =γv(t-1) +α∇b +前面是n1的γ倍，通常取0.9（为什么<1？因为要减小早期的梯度影响） +后面α是学习率，∇b是b点理论上的梯度下降 有很多点之后，v(t-1)指的是之前所有步骤累加的动量和 from torch.utils.data import DataLoader from torch imp...
深度学习笔记之优化算法(三)动量法的简单认识
静静的学习就好
10-07 597
上一节介绍了随机梯度下降(Stochastic Gradient Descent,SGD)，本节将介绍动量法。
模型优化-动量方法
温染的笔记
06-02 2291
动量梯度下降（Gradient Descent With Momentum），简称为动量方法（Momentum），运行速度几乎总是快于标准的梯度下降算法，并且能够解决随机梯度下降所遇到的山谷震荡以及鞍部停滞问题，这部分内容请阅读上一篇博客梯度下降算法。 根据梯度下降算法的参数更新公式： w=w−η∂L(w)∂w w = w - \eta\frac{\partial L(w)}{\partial w...
动手学深度学习：7.4 动量法
qq_38888209的博客
08-10 439
7.4 动量法在7.2节（梯度下降和随机梯度下降）中我们提到，目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter07_optimization/7.4_momentum7.4.
深度学习中优化方法——momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam
05-17
深度学习中的优化方法是指在训练神经网络时，通过更新模型参数来最小化损失函数的过程中所采用的算法。常用的优化方法包括：momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam等。 1. Momentum Momentum是一种基于梯度下降的优化方法，它通过引入动量来加速收敛。在更新模型参数时，不仅考虑当前的梯度，还考虑之前的梯度对更新方向的影响，通过累积之前的梯度，使得更新方向更加稳定，加速收敛。 2. Nesterov Momentum Nesterov Momentum是Momentum的一种变体，它在更新模型参数之前，先向前“看一步”，计算模型参数在当前动量下的移动方向，然后再计算当前位置的梯度，最后根据这两个信息来更新模型参数。相比于Momentum，Nesterov Momentum能够更快地收敛。 3. AdaGrad AdaGrad是一种自适应学习率的优化方法，它通过动态地调整学习率来适应不同参数的更新需求。具体地说，它将学习率分别应用于每个参数的更新量上，使得每个参数的学习率随着训练的进行不断减小，从而减少参数更新的震荡。 4. Adadelta Adadelta也是一种自适应学习率的优化方法，它和AdaGrad不同之处在于，它不仅考虑了过去的梯度信息，还考虑了过去的参数更新信息。具体地说，它通过维护一个累积梯度平方的指数衰减平均值和一个累积参数更新平方的指数衰减平均值，来动态调整学习率和更新量，使得参数更新更加平稳。 5. RMSprop RMSprop也是一种自适应学习率的优化方法，它和Adadelta类似，但只考虑了过去的梯度信息，没有考虑过去的参数更新信息。具体地说，它通过维护一个梯度平方的指数衰减平均值来动态调整学习率，使得参数更新更加平稳。 6. Adam Adam是一种结合了Momentum和RMSprop的优化方法，它不仅考虑了梯度的一阶矩和二阶矩信息，还引入了偏置修正，使得参数更新更加准确。相比于其他优化方法，Adam不仅收敛速度快，还具有较好的性能表现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值