RMSprop、动量梯度下降法与Adam优化 [Andrew Ng 深度学习笔记]

最新推荐文章于 2024-07-09 20:43:53 发布
最新推荐文章于 2024-07-09 20:43:53 发布
阅读量825 收藏 2
点赞数 2
分类专栏： 人工智能 理论分析 Andrew Ng 深度学习笔记 文章标签： RMSprop 动量梯度下降法 Adam优化算法 深度学习 Andrew Ng
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Originum/article/details/90341455
版权

如图：

对于蓝色的情况，由于梯度下降时来回摆动，导致收敛很慢

若增大学习率，结果可能偏离函数的范围，如紫色的情况。为了避免摆动过大，就必须使用较小的学习率，进一步降低了收敛速度

我们希望的是在纵轴上减缓学习，在横轴上加快学习，如红色的情况。有多种方法可以实现

动量梯度下降法（Momentum）

此处用了指数加权平均的更新方法

因为纵轴有许多摆动，在求平均的时候都可以被抵消，最后几乎等于0，所以纵轴的学习被减缓了

在横轴，所有微分都指向一个方向，所以求平均之后几乎没有变化

所以动量梯度下降法就可以解决上述问题

RMSprop

on iteration t :
      compute  dw, db on current Mini-patch  (和动量梯度下降法一样，每次先算出dw、db)

      

最低0.47元/天 解锁文章
Originum
关注
专栏目录
深度学习炼丹-超参数调整和模型训练技巧
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
12-13 1517
所谓超参数，即不是通过学习算法本身学习出来的，需要作者手动调整（可优化参数）的参数(理论上我们也可以设计一个嵌套的学习过程，一个学习算法为另一个学习算法学出最优超参数)，卷积神经网络中常见的超参数有: 优化器学习率、训练 Epochs 数、批次大小 batch_size 、输入图像尺寸大小。
吴恩达深度学习笔记(44)-RMSprop
Harpoon_fly的博客
12-29 1259
RMSprop 你们知道了动量（Momentum）可以加快梯度下降，还有一个叫做RMSprop的算法，全称是root mean square prop算法，它也可以加速梯度下降，我们来看看它是如何运作的。 回忆一下我们之前的例子，如果你执行梯度下降，虽然横轴方向正在推进，但纵轴方向会有大幅度摆动，为了分析这个例子，假设纵轴代表参数b，横轴代表参数W，可能有W_1，W_2或者其它重要的参数，为了便...
RMSprop
Steve Wang's blog
12-05 5505
RMSprop，全称：Root Mean Sqaure prop。 要看懂这篇博文，你需要先看懂： 指数加权平均 使用动量的梯度下降法 整理并翻译自吴恩达深度学习系列视频： https://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=2001702124&ci...
了解Adam和RMSprop优化算法
最新发布
TheJustice_的博客
07-09 1191
RMSprop和Adam都是深度学习中常用的优化算法，各自有其优势。RMSprop通过调整每个参数的学习率来处理非平稳目标，而Adam则结合了动量和均方根的思想，使得它在处理稀疏梯度和非平稳目标时表现优异。理解并灵活运用这些优化算法，将有助于提高模型训练的效率和效果。
改善深层神经网络(4) —— 优化算法 之 动量梯度下降，RMSprop和Adam优化算法详解
凝望，划过星空的博客
08-08 2270
文章目录1. 算法之前的预备知识1.1 指数加权平均1.2 深入理解指数加权平均1.3 指数加权平均的偏差修正2. 优化算法2.1 动量梯度下降法2.1.1 动量梯度下降法的代码实现2.2 RMSprop2.2.1RMSprop的代码实现2.3 Adam优化算法2.3.1 Adam优化算法的代码实现 1. 算法之前的预备知识 1.1 指数加权平均 我们先通过吴恩达老师课程中的一个实例来直观理解什么...
ufldl.zh.zip_UFLDL_斯坦福-Andrew_深度学习 视频_深度学习视频_视频深度学习
09-24
6. **优化算法**：除了梯度下降，还包括随机梯度下降（SGD）、动量法、Adagrad、RMSprop和Adam等。 7. **大数据与并行计算**：讨论如何在大规模数据集上训练模型，以及利用GPU加速计算。 “ufldl.zh.pdf”可能是...
Deeplearning深度学习笔记.rar
07-12
笔记讲解了常见的损失函数，如均方误差（Mean Squared Error, MSE）和交叉熵（Cross-Entropy），以及如何通过梯度下降（Gradient Descent）和其他优化算法（如随机梯度下降（Stochastic Gradient Descent, SGD）、...
deeplearningai学习笔记
04-16
深度学习中的参数更新依赖于梯度下降算法，而最优化算法则是对梯度下降的改进，以解决其在实际应用中遇到的一些问题。 指数加权平均（Exponentially Weighted Average）是一种处理时序数据的常用方法。它通过赋予...
各种梯度下降法（SGD、Momentum、NAG、Aagrad、RMSProp、Adam）matlab实现
06-07
里面有各种梯度下降法：SGD、Momentum、NAG、Aagrad、RMSProp、Adam算法代码；
Adam RMSprop 动量梯度下降
Tang4109的博客
07-13 260
常见优化器对比：梯度下降法、带动量的梯度下降法、Adagrad、RMSProp、Adam
weixin_47748259的博客
03-21 2144
优化器 ｜SGD ｜Momentum ｜Adagrad ｜RMSProp ｜Adam。
RMSprop梯度下降法
jkchen's Haven
12-09 895
RMSprop梯度下降法 有点类似动量梯度下降法，其过程为： 我们在神经网络中，算出了dw,dbdw,dbdw,db，然后令： Sdw:=βSdw+(1−β)dw2Sdb:=βSdb+(1−β)db2  w:=w−α⋅dwSdw+10−8b:=b−α⋅dbSdb+10−8Sdw:=\beta Sdw+(1-\beta)dw^2\\ Sdb:=\beta Sdb+(1-\beta)db^2\\ \;...
机器学习中的数学——RMSProp（Root Mean Square Prop）
冯·诺依曼
03-12 1万+
RMSProp算法修改AdaGrad以在非凸设定下效果更好，改变梯度积累为指数加权的移动平均。AdaGrad旨在应用于凸问题时快速收敛。当应用于非凸函数训练神经网络时，学习轨迹可能穿过了很多不同的结构，最终到达一个局部凸的区域。AdaGrad根据平方梯度的整个历史收缩学习率，可能使得学习率在达到这样的凸结构前就变得太小了。RMSProp使用指数衰减平均以丢弃遥远过去的历史，使其能够在找到凸碗状结构后快速收敛，它就像一个初始化于该碗状结构的AdaGrad算法实例。相比于AdaGrad，使用移动平均引入了一个新
神经网络优化器：RMSProp——优化神经网络训练的梯度下降算法的变体
新华编程特战队
12-25 1646
它使用梯度的衰减移动平均值来忘记较早的梯度，同时在计算中优先考虑较新的梯度。RProp，即弹性传播，是为了解决梯度大小不同的问题而引入的。RMSProp 是梯度下降的一种改进形式，它使用衰减的移动平均线，而不仅仅是当前值。因此，理想情况下，我们需要一种带有移动平均滤波器的技术来克服 RProp 的问题，同时仍然保持 RProp 的鲁棒性和高效性。值是在学习率项中除以的，因此如果 Vdw 较低，则学习率增加，反之亦然。然后，我们计算梯度并创建另一个 for 循环来计算每个变量的梯度平均值的平方。
RmsProp学习
weixin_41084234的博客
05-20 1046
RMSProp是一种常见的神经网络优化算法，它主要用于控制神经网络中的梯度更新过程，有助于提高训练的速度和效果。RMSProp的全称是Root Mean Square Propagation（均方根传播），可以看做是Adagrad算法的改进版。RMSProp算法的核心思想是，以加速权重的收敛过程。在RMSProp算法中，每个权重都有独立的学习率，并且该学习率会根据该权重的历史梯度的大小进行动态调整。具体来说，RMSProp算法会计算。这个平方根相当于在对较大的梯度进行压缩，而对较小的梯度进行扩展。
模型优化-RMSprop
热门推荐
温染的笔记
06-02 1万+
RMSprop 全称 root mean square prop 算法，和动量方法一样都可以加快梯度下降速度。关于动量方法的内容可以参考这篇博文模型优化-动量方法。 动量方法借助前一时刻的动量，从而能够有效地缓解山谷震荡以及鞍部停滞问题。而 RMSprop 对比动量方法的思想有所不同，以 y = wx + b 为例，因为只有两个参数，因此可以通过可视化的方式进行说明。 假设纵轴代表参数 b，横轴...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值