深度学习最优化（四）—— 动量法/Nesterov/Adagrad/Adadelta/RMSprop/Adam/Nadam

最新推荐文章于 2024-08-06 15:30:00 发布
最新推荐文章于 2024-08-06 15:30:00 发布
阅读量4.9k 收藏 14
点赞数 3
分类专栏： 优化问题 深度学习 文章标签： 最优化 adam Adagrad RMSprop Momentum
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/manmanxiaowugun/article/details/83066067
版权
本文详细介绍了深度学习优化中的几种算法，包括SGD、动量法、Nesterov、Adagrad、RMSprop、Adadelta、Adam以及Nadam。这些算法针对梯度下降中的问题提出解决方案，如学习率选择、局部最优等，其中Adam和Nadam结合了一阶和二阶动量，表现出良好的优化效果。
摘要由CSDN通过智能技术生成

1. SGD

现在的SGD一般都指小批量梯度下降，即每一次迭代计算mini-batch的梯度，然后对参数进行更新。

               g_{t}= \triangledown _{\theta_{t-1}}J(\theta_{t-1})

              \triangle \theta _t = -\eta \ast g_t

              \theta _t = \theta _{t-1}+\triangle \theta _t

其中\theta _t是模型参数，J(\theta _{t-1})是模型目标函数，g_t是目标函数的梯度，\eta是学习率。

难点（缺点）：

          （1）学习率的选择。过低收敛缓慢，过高无法收敛。

          （2）“之字形”的出现，即在陡谷（一种在一个方向的弯曲程度远大于其他方向的表面弯曲情况）处震荡。如下图所示

2. 动量法（Momentum）

               m_t=\mu \ast m_{t-1}-\eta g_t

               

最低0.47元/天 解锁文章
谁是momo子
关注
专栏目录
优化法——动量法
大脸猫的博客
03-13 1196
动量梯度下降（Gradient Descent With Momentum），简称为动量方法（Momentum），运行速度几乎总是快于标准的梯度下降算法，并且能够解决随机梯度下降所遇到的山谷震荡以及鞍部停滞问题，这部分内容请阅读上一篇博客梯度下降算法。 根据梯度下降算法的参数更新公式： 参数的更新仅仅取决于当前位置的梯度以及步长，试想一下这样一个情境：我们将某一个物品往山谷里丢，在梯度下降算法的规则下，该物品仅仅收到当前触碰在它身上的力，而忽略其他的力，例如重力、空气阻力等等。我们可以把它想象成一张
【05】深度学习——最优化与深度学习关系 | 损失函数、性质 | 梯度下降 | 随机、小批量梯度下降 | 动量法 | AdaGrad | RMSProp/AdaDelta |Adam | 学习率调节器
最新发布
小浪宝宝的博客
09-12 50
梯度下降法的目标是为了求解损失函数JJJ，有三要素，1是起始点；2是梯度，找到方向，一只减小；3是学习率。wt1wt−α∇Jwt1​wt​−α∇J​本节介绍了RMSProp/AdamDelta两种二阶动量优化方法，几乎同一时期提出的梯度下降算法的变体，动态调整学习率。基本思路：时序累加修改二阶动量，动态调整学习率。定义一个简单的模型，维度为8的一层全连接网络，激活函数为ReLU函数。# 定义一个简单的模型。
动量法,,
m0_63642362的博客
06-09 409
动量法
动量法（Momentum）
m0_51200050的博客
06-30 1492
动量法通过引入动量项，使得参数更新不仅依赖于当前的梯度，还考虑了之前梯度的累积效果，从而加速收敛并减少参数更新时的震荡。通过具体数据示例，可以清楚地看到动量法如何在每次迭代中逐步更新动量项和参数，使模型逐步逼近最优解。
动量法(Momentum)
LS_Ai的博客
08-06 1117
动量法通过在梯度下降中引入动量项，能够加速收敛，并减少更新过程中的震荡。这使得动量法在许多优化问题中表现出色，尤其是在复杂函数的优化中。通过直观的图形展示，我们可以更好地理解动量法的优化过程和效果。
深度学习之动量momentum介绍
yueguang8的博客
06-03 835
动量是深度学习中非常重要的优化技术,它能有效提高训练的稳定性和收敛速度。掌握动量的原理和使用方法对于训练高性能的深度学习模型非常关键。
深度学习中常用的优化算法(SGD, Nesterov,Adagrad,RMSProp,Adam)总结
生命在于折腾！
11-10 5263
深度学习中常用的优化算法(SGD, Nesterov,Adagrad,RMSProp,Adam)总结 1. 引言 在深度学习中我们定义了损失函数以后，会采取各种各样的方法来降低损失函数，从而使模型参数不断的逼近于真实数据的表达。不过损失函数的数值只是我们用来优化模型中参数的一个参考量，我们是通过优化损失函数来间接地优化模型参数，并提高模型的度量指标。而优化算法的作用就是加快模型的收敛，取得最优值。...
深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
weixin_30853329的博客
09-07 880
深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam） ycszen Semantic Segmentation / changqianyu.me 1,652 人赞同了该文章 前言 （标题不能再中二了）本文仅对一些常见的优化方法进行直观介绍和简单的比...
优化方法总结比较(SGD,Momentum,Nesterov,Adagrad,Adadelta,RMSprop,Adam,Adamax,Nadam,DFP,BFGS)
瑾瑜将将的专栏
04-08 791
随机梯度下降法 Batch Gradient Descent 在每一轮的训练过程中，BGD算法用整个训练集的数据计算loss的梯度，并用该梯度对模型参数进行更新： θt+1=θt+Δθ,Δθ=−η∗gt\theta_{t+1}=\theta_{t}+\Delta\theta, \Delta\theta=-\eta * g_{t}θt+1​=θt​+Δθ,Δθ=−η∗gt​ 优点 loss若为凸函...
深度模型中的优化(四)、动量(momentum)和Nesterov动量
weixin_36670529的博客
09-21 2868
一、动量 虽然随机梯度下降仍然是非常受欢迎的优化方法，但其学习过程有时会很慢。动量方法旨在加速学习，特别是处理高曲率、小但一致的梯度，或是带噪声的梯度。动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿该方向移动。从形式上看，动量算法引入了变量v充当速度角色------它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数衰减平均。名称动量来自物理类比，根据牛顿运动定律，负梯度是移动参...
《动手学深度学习》之动量法
乾巽的博客
02-07 695
q: 为什么要用动量法 a: 梯度下降存在以下问题: 一个输入和输出分别为二维向量x=[x1,x2]T和 标量的目标函数f(x)=0.1x12 + 2x22 基于这个目标函数的梯度下降，并演示使用学习率为0.40.4时自变量的迭代轨迹。 import sys sys.path.append("d2lzh_pytorch.py") import d2lzh_pytorch as d2l impo...
优化算法 - 动量法
yingzi的技术博客
09-16 1103
从构造来看，x2⽅向的梯度⽐⽔平x1⽅向的梯度⼤得多，变化也快得多。因此，我们陷⼊两难：如果选择较⼩的学习率，我们会确保解不会在x2⽅向发散，但要承受在x1⽅向的缓慢收敛。在优化问题条件不佳的情况下（例如，有些方向的进展比其他方向慢得多，类似狭窄的峡谷），“加速”梯度还额外享受更有效的好处。新的梯度替换不再指定特定实例下降最陡的方向，而是指向过去梯度的加权平均值的方向。唯一的变化是，在这种情况下，我们将梯度。在本节中，我们将讨论更有效的优化算法，尤其是针对实验中常见的某些类型的优化问题。
33. 动量法（Momentum）介绍
qq_41238579的博客
07-10 443
尽管深度学习中的动量与物理学中的动量并不完全相同，但它们都强调了一个概念：在运动方向上保持运动的趋势，从而加速收敛。1. **加速收敛**：动量法通过积累之前的梯度信息，使得优化过程更为顺畅，避免了曲折路径，提高了收敛速度。2. **跳过局部最小值**：由于动量的累积作用，可以帮助优化算法跳过一些局部最小值，找到更优的解。3. **减少振荡**：动量法可以有效减小学习过程中梯度震荡的现象，使得模型的训练更加稳定。2. **参数调节**：动量法引入了新的超参数（动量系数），需要在实际应用中进行调节。
momentum 动量法
xddwz的博客
02-20 485
参考：https://blog.csdn.net/tsyccnh/article/details/76270707?utm_source=distribute.pc_relevant.none-task 如果把梯度下降法想象成一个小球从山坡到山谷的过程，那么前面几篇文章的小球是这样移动的：从A点开始，计算当前A点的坡度，沿着坡度最大的方向走一段路，停下到B。在B点再看一看周围坡度最大的地方，沿着这个坡度方向走一段路，再停下。确切的来说，这并不像一个球，更像是一个正在下山的盲人，每走一步都要停下来，用拐杖来
深度学习中不同的优化器汇总（SGD、动量、Adagrad、RMSProp、Adam）（理论、公式、代码）
m0_48923489的博客
03-20 2982
本文针深度学习中不同的优化器进行了汇总，包括公式实现、代码示例、演变过程和优缺点做了较为详细的分析。
深度学习优化算法之动量法[公式推导]（MXNet）
深度学习领域优质创作者，CSDN博客专家
09-25 1721
熟悉指数加权移动平均的推导
深度学习_09_2_Regularization&动量与学习率&Early Stopping&Dropout
小明2766的博客
04-13 286
09_2_Regularization&动量与学习率&Early Stopping&Dropout Regularization 如何防止或减轻Overfitting Occam’s Razor 奥卡姆剃刀原理 Reduce Overfitting 提供更多数据 模型复杂度降低 浅的模型 regularization Dropout 数据增强 提前终结 Regularization(weigh decay-权值衰减) 公式为 左边是二分类问题的cross entropy
优化算法2--动量法
chenjiale5的博客
08-01 1088
起始点a到b点的梯度下降记为n1 b点到c点的实际梯度由两方面组成 v (t) =γv(t-1) +α∇b +前面是n1的γ倍，通常取0.9（为什么<1？因为要减小早期的梯度影响） +后面α是学习率，∇b是b点理论上的梯度下降 有很多点之后，v(t-1)指的是之前所有步骤累加的动量和 from torch.utils.data import DataLoader from torch imp...
深度学习笔记之优化算法(三)动量法的简单认识
静静的学习就好
10-07 677
上一节介绍了随机梯度下降(Stochastic Gradient Descent,SGD)，本节将介绍动量法。
matlab最佳摄动量法
05-08
最佳摄动量法（Best Time-Optimal Control）是一种优化控制方法，它可以解决在给定控制精度和系统动力学模型的情况下，如何在最短时间内使系统从初始状态到达目标状态的问题。MATLAB中提供了一些工具箱来解决这类问题，例如Optimization Toolbox和Control System Toolbox等。 在MATLAB中使用最佳摄动量法时，需要先定义系统的动力学模型和目标状态，然后使用控制系统工具箱中的函数来求解最佳控制。其中常用的函数包括fmincon和lqr等。fmincon函数可以用于求解非线性约束下的最小值问题，lqr函数可以用于设计线性二次型控制器。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值