深度学习系列（七） 优化算法（梯度下降、动量法、AdaGrad算法、RMSProp算法、AdaDelta算法、Adam算法） 2020.6.24

最新推荐文章于 2024-08-06 15:30:00 发布
最新推荐文章于 2024-08-06 15:30:00 发布
阅读量2.9k 收藏 35
点赞数 7
分类专栏： machine learning 文章标签： 深度学习 优化算法 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44604541/article/details/106940101
版权
本文详细介绍了深度学习中常见的优化算法，包括梯度下降、随机梯度下降、小批量随机梯度下降、动量法、AdaGrad、RMSProp、AdaDelta和Adam算法，探讨了这些算法在处理局部最小值和鞍点等问题上的策略，以优化模型的训练过程。
摘要由CSDN通过智能技术生成

前言

在训练模型时，会使⽤优化算法不断迭代模型参数以降低模型损失函数的值
本节详细学习常用的优化算法

  • 梯度下降
  • 动量法
  • AdaGrad算法
  • RMSProp算法
  • AdaDelta算法
  • Adam算法

1、优化算法的挑战

优化算法的⽬标函数通常是⼀个基于训练数据集的损失函数
优化的⽬标在于降低训练误差

通常会遇上两个挑战

  • 局部最小值
  • 鞍点
局部最小值
  • 如果f(x)在x上的值⽐在x邻近的其他点的值更小，那么f(x)可能是⼀个局部最小值（local minimum）
  • 如果f(x)在x上的值是⽬标函数在整个定义域上的最小值，那么f(x)是全局最小值（global minimum）

在这里插入图片描述
当⼀个优化问题的数值解在局部最优解附近时，由于⽬标函数有关解的梯度接近或变成零，最终迭代求得的数值解可能只令⽬标函数局部最小化而⾮全局最小化

鞍点

梯度接近或变成零也可能是由于当前解在鞍点（saddle point）附近在这里插入图片描述
如果在深度学习训练过程中，损失函数落到了局部最小值和鞍点上&

最低0.47元/天 解锁文章
思源湖的鱼
关注
专栏目录
【第80篇】Lion：优化算法的符号发现
AI浩
04-12 889
本文提出一种将算法发现表述为程序搜索的方法，并将其应用于发现用于深度神经网络训练的优化算法。利用高效的搜索技术来探索无限和稀疏的程序空间。为弥合代理任务和目标任务之间的巨大泛化差距，还引入了程序选择和简化策略。该方法发现了一种简单有效的优化算法Lion (evolutionary Sign Momentum)。它比Adam更节省内存，因为它只记录动量。与自适应优化器不同，通过符号操作计算的每个参数的更新具有相同的幅度。
深度学习中的优化算法(Optimization)
程序员光剑
07-12 1897
本文目录：深度学习中的优化(optimization)问题通常是指在已有的数据集上实现最小的训练误差(training error)。记深度网络的待优化参数为θ\thetaθ，包含NNN个训练样本xxx的数据集为XXX，损失度量为l(x;θ)l(x;\theta)l(x;θ)；则损失函数定义为：L(θ)=1N∑x∈Xl(x;θ) L(\theta)= \frac{1}{N}\sum_{x \in X}^{}l(x;\theta) L(θ)=N1​x∈X∑​l(x;θ)优化问题建模为寻找使得损失函数为**全局
Adam 优化算法
DeepRoad
03-09 573
在深度学习的发展过程中出现过很多优化算法，但是有些优化算法并不能被非常广泛地使用，因此出现了一些质疑优化算法的声音。但是当有人尝试将动量梯度下降和 RMSprop 结合起来后，人们发现这种新的优化算法效果非常好而且在很多问题上的表现都不错，后来便广泛地使用了起来。 Adam 算法本质上是将动量梯度下降算法和 RMSprop 结合了起来。 如果读过前几篇文章，那么对下面的算法描述一定不陌生： ...
Adam优化算法
panbaoran913的博客
08-20 954
参考连接：https://www.bilibili.com/video/BV1bD4y197EE?from=search&seid=2812665294799649680 一、常用的优化方法 Momentum方法：通过添加栋梁，提高收敛速度。 Nestrov方法：在进行当前更新前，先进行预演一次，从而找到一个更加适合当前情况的梯度方向和幅度。 Adagrad方法：让不同的参数拥有不同的学习率，并且通过引入梯度的平方和作为衰减想，而在训练过程中自动降低的学习率。 AdaDelta方法：对Adagra
动量法(Momentum)
最新发布
LS_Ai的博客
08-06 1003
动量法通过在梯度下降中引入动量项，能够加速收敛，并减少更新过程中的震荡。这使得动量法在许多优化问题中表现出色，尤其是在复杂函数的优化中。通过直观的图形展示，我们可以更好地理解动量法的优化过程和效果。
深度学习最常用的学习算法：Adam优化算法
热门推荐
leadai的博客
01-26 12万+
正文共6547个字，32张图，预计阅读时间17分钟。听说你了解深度学习最常用的学习算法：Adam优化算法？-深度学习世界。深度学习常常需要大量的时间和机算资源进行训练，这也是困扰深度学习算法开发的重大原因。虽然我们可以采用分布式并行训练加速模型的学习，但所需的计算资源并没有丝毫减少。而唯有需要资源更少、令模型收敛更快的最优化算法，才能从根本上加速机器的学习速度和效果，Adam 算法正为此而生！Ad
深度学习中的优化器原理总结（经典+前沿）
qq_42514662的博客
10-22 4066
目录 前言 一、梯度下降的思想与批梯度下降法 1.随机梯度下降法 2.标准梯度下降法 3.批梯度下降法 二、经典的五类优化器 1.SGD 2.SGD with momentum(SGDM) 3.Adagrad 4.RMSProp 5.Adam 三、前沿方法 1.AMSGrad 2.AdaBound 3.SWAT 4.Cyclical LR/SGDR/One-cycle LR 5.RAdam 6.Lookahead 7.SGDWM/AdamW 8.一些帮助优化的方法 .
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征融合-目标检测（论文篇五）
qq_36130719的博客
04-15 1605
检测的图像，首先设置输入网络大小，然后将滑动窗口按照一定步长对图像进行滑动，微小的卷积神经网络，其使用卷积核在卷积神经网络中对输入图像信息进行卷积处理，传统行人检测技术进行分析，然后介绍基于深度学习行人检测算法，为后续行人检测。出，能够很好的描述行人的边缘，因此广泛应用于行人检测。的静态图像，往往采用梯度直方图方法获取行人图像的局部特征信息，然后计算所有。个单元格的特征将以不同的结果出现在最后的向量中，所有的小单元特征信息将构成。目的成果，使得行人检测检测技术成为基于深度学习目标检测领域的研究热点。
各种梯度下降法（SGD、Momentum、NAG、Aagrad、RMSProp、Adam）matlab实现
06-07
里面有各种梯度下降法：SGD、Momentum、NAG、Aagrad、RMSProp、Adam算法代码；
Adam优化算法(Adam optimization algorithm)
dianyanxia的博客
08-07 1万+
Adam优化算法(Adam optimization algorithm) Adam优化算法基本上就是将Momentum和RMSprop结合在一起。 初始化 2.在第t次迭代中，用mini-batch梯度下降法计算出dw和db 3.计算Momentum指数加权平均数 4.用RMSprop进行更新 5.计算Momentum和RMSprop的修正偏差 6更新权重 其中Adam参数配置有:α 学习率/ β1 一阶矩估计的指数衰减率如0.9 β2 二阶矩估计的指数衰减率如0.999 该超.
优化算法 - Adam算法
yingzi的技术博客
09-16 1729
不出预料，作为深度学习中使用的更强大和有效的优化算法之一，它非常受欢迎。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NF6jVSDf-1663328054526)(https://yingziimage.oss-cn-beijing.aliyuncs.com/img/202209161925007.svg)]此外，我们可以用深度学习框架自带算法应用Adam算法，这里我们只需要传递配置参数。现在，我们用以上Adam算法来训练模型，这里我们使用η=0.01的学习率。
Please translate passage to academic english: 优化器选用Adadelta，其是在Adagrad算法的基础上改进得到的扩展版。Adadelta相比Adagrad，不再累积所有过去的梯度，而是根据渐变更新的移动窗口调整学习率，使其具有更强的鲁棒性[33]。Adadelta算法参数设定主要包括：学习率为1.0，Adadelta梯度平方移动均值的衰减率为0.95，模糊因子为1×10-6，每次参数更新后学习率衰减值为0。
06-01
The optimizer used is Adadelta, an improved and extended version of the Adagrad algorithm. Compared with Adagrad, Adadelta no longer accumulates all past gradients, but adjusts the learning rate based on the moving window updated by the gradient, making it more robust [33]. The main parameters for setting the Adadelta algorithm include a learning rate of 1.0, a decay rate of 0.95 for the moving average of Adadelta gradient squares, a blur factor of 1×10-6, and a learning rate decay value of 0 after each parameter update.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值