RMSprop

最新推荐文章于 2024-09-16 06:30:00 发布
最新推荐文章于 2024-09-16 06:30:00 发布
阅读量5.5k 收藏 23
点赞数 2
分类专栏： 深度学习与机器学习 文章标签： RMSprop 梯度下降
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Solo95/article/details/84838932
版权

RMSprop，全称：Root Mean Sqaure prop。

要看懂这篇博文，你需要先看懂：

整理并翻译自吴恩达深度学习系列视频：
https://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=2001702124&cid=2001693085

RMSprop

在这里插入图片描述
同使用动量的梯度下降一样，RMSprop的目的也是为了消除垂直方向的抖动，使梯度下降快速收敛。

其计算方法(详见下)使用了将导数看作水平方向上的w和垂直方向上的b。并计算dw和db的平方值，这实际上是平方版本的指数加权平均。然后更新的时候又除去了根号求平均值，因此叫做Root Mean Sqaure prop。除法进行的时候因为dw较小，所以计算出的根号也较小，而db较大，所以计算出的根号也较大，因此更新时b变小了，w变化不大。

算法描述

该算法描述来自花书《deep learning》，与下面的计算方法不共享参数记号。
在这里插入图片描述

RMSprop计算方法

在每一次迭代中，计算mini-batch上的：

S d w = β 2 S d w + ( 1 − β 2 ) d W 2 S_{dw}=\beta_2S_{dw}+(1-\beta_2)dW^2 Sdw​=β2​Sdw​+(1−β2​)dW2<- element-wise
S d b = β 2 S d b + ( 1 − β 2 ) d b 2 S_{db}=\beta_2S_{db}+(1-\beta_2)db^2 Sdb​=β2​Sdb​+(1−β2​)db2 <- element-wise

更新方法变成：
W = W − α d W S d w + ϵ W = W-\alpha \frac{dW}{\sqrt{S_{dw}+\epsilon}} W=W−αSdw​+ϵ ​dW​
b = b − α d b S d b + ϵ b = b-\alpha \frac{db}{\sqrt{S_{db}+\epsilon}} b=b−αSdb​+ϵ ​db​

取 ϵ = 1 0 − 8 \epsilon=10^{-8} ϵ=10−8，目的是防止你除以0或者一个很小的数。

从流域到海域
关注
专栏目录
RMSProp优化器原理与代码实例讲解
AI架构设计之禅
06-10 871
1. 背景介绍 在机器学习和深度学习中，优化算法是非常重要的一部分，它用于调整模型的参数以最小化损失函数。RMSProp 是一种常用的优化算法，它在深度学习中被广泛应用。本文将详细介绍 RMSProp 优化器的原理、数学模型和公式，并通过代码实例进行讲解。 2. 核心概念与联系 RMSPr
SGD、Momentum、AdaGrad、RMSProp和Adam的区别
m0_50833438的博客
09-14 1246
SGD是最基本的优化算法之一。它通过在每次迭代中计算损失函数关于权重的梯度（对一小批量训练样本），然后沿着梯度的反方向来最小化损失。
RMSprop（均方根传播，Root Mean Square Propagation）
qq_25426809的博客
05-08 647
在这个例子中，我们使用RMSprop算法来找到一个简单函数f(x) = x^2的最小值。首先，我们定义了一个RMSprop函数，输入包括目标函数（f）、其梯度（df）、初始点（x0）、学习率（learning_rate）、最大迭代次数（max_iter）、衰减率（decay_rate）、平滑项（epsilon）和收敛容差（tol）。然后，我们定义了示例函数f(x)及其导数df(x)。最后，我们调用RMSprop函数，求得最小值点。
AI学习指南深度学习篇-RMSprop算法流程
最新发布
俞兆鹏的博客
09-16 1770
RMSprop算法是由Geoff Hinton在其在线课程中提出的，旨在解决SGD（随机梯度下降）中学习率选择的挑战。它通过对历史梯度的平方进行指数加权移动平均，从而自适应地调整每个参数的学习率。其核心思想是使学习率与参数的梯度大小相关联，从而在训练过程中动态调整学习率。与传统的SGD不同，RMSprop能够有效应对非平稳目标的情况。在训练深度神经网络时，梯度的分布往往是不断变化的，这导致固定的学习率可能在一些情况下过大，而在另一些情况下则过小。因此，使用RMSprop可以改善模型的训练效果和收敛速度。
模型优化-RMSprop
热门推荐
温染的笔记
06-02 1万+
RMSprop 全称 root mean square prop 算法，和动量方法一样都可以加快梯度下降速度。关于动量方法的内容可以参考这篇博文模型优化-动量方法。 动量方法借助前一时刻的动量，从而能够有效地缓解山谷震荡以及鞍部停滞问题。而 RMSprop 对比动量方法的思想有所不同，以 y = wx + b 为例，因为只有两个参数，因此可以通过可视化的方式进行说明。 假设纵轴代表参数 b，横轴...
机器学习中的数学——RMSProp（Root Mean Square Prop）
冯·诺依曼
03-12 1万+
RMSProp算法修改AdaGrad以在非凸设定下效果更好，改变梯度积累为指数加权的移动平均。AdaGrad旨在应用于凸问题时快速收敛。当应用于非凸函数训练神经网络时，学习轨迹可能穿过了很多不同的结构，最终到达一个局部凸的区域。AdaGrad根据平方梯度的整个历史收缩学习率，可能使得学习率在达到这样的凸结构前就变得太小了。RMSProp使用指数衰减平均以丢弃遥远过去的历史，使其能够在找到凸碗状结构后快速收敛，它就像一个初始化于该碗状结构的AdaGrad算法实例。相比于AdaGrad，使用移动平均引入了一个新
RMSProp算法1
08-08
RMSProp（Root Mean Square Propagation）算法是一种优化方法，主要用在深度学习中的反向传播过程，用于更新网络权重以最小化损失函数。该算法由Geoffrey Hinton提出，旨在解决AdaGrad算法在训练过程中学习率逐渐...
实现LMS算法，并使用AdaGrad、RMSProp、Adam这三种自适应学习率优化算法对LMS算法进行优化（完整程序）。
05-08
Adam（Adaptive Moment Estimation）是RMSProp和动量法的结合，引入了第一时刻估计（即动量）和第二时刻估计（即RMSProp）。Adam不仅考虑了过去梯度的均值和方差，还引入了偏置校正以应对初始阶段的偏差。这使得...
RMSprop简介:了解RMSprop算法的起源和发展
AI天才研究院
06-08 1035
RMSprop简介:了解RMSprop算法的起源和发展 1.背景介绍 在机器学习和深度学习领域，优化算法是训练模型的关键。优化算法的选择直接影响模型的收敛速度和最终性能。传统的梯度下降算法虽然简单易懂，但在实际应用中存在许多问题，如学习率难以调节、容易陷入局部最优等。为了
机器学习的优化程序库，用Python实现了梯度下降、LBFGS、rmsprop、adadelta 等算法。
05-18
机器学习的优化程序库，用Python实现了梯度下降、LBFGS、rmsprop、adadelta 等算法。
改善深层神经网络：超参数调整、正则化以及优化——2.7 RMSprop
01-08
RMSprop算法全称是root mean square prop算法，该算法可以加速梯度下降，回忆一下之前的例子，如果执行梯度下降，虽然横轴方向正在推进，但纵轴方向会有大幅度的摆动，假设纵轴代表参数b，横轴代表参数W，可能有W1W_1W1​，W2W_2W2​或者其它重要的参数，为了便于理解，称为b和W。所以如果想减缓b方向的学习，同时加快横轴方向的学习，RMSprop算法可以实现这一点。 在第t次迭代中，该算法会照常计算当下mini-batch的微分dWdWdW和dbdbdb。这里用新符号SdwS_{dw}Sdw​，Sdw=β∗Sdw+(1−β)∗(dW)2S_{dw}=\beta*S_{
实战篇:如何在Python中实现RMSProp优化器
AGI通用人工智能之禅
05-29 73
实战篇:如何在Python中实现RMSProp优化器 1.背景介绍 1.1 优化器在机器学习中的重要性 在机器学习和深度学习领域中,优化器扮演着至关重要的角色。它们被用于调整模型的参数,以最小化损失函数并提高模型
神经网络优化器：RMSProp——优化神经网络训练的梯度下降算法的变体
新华编程特战队
12-25 1862
它使用梯度的衰减移动平均值来忘记较早的梯度，同时在计算中优先考虑较新的梯度。RProp，即弹性传播，是为了解决梯度大小不同的问题而引入的。RMSProp 是梯度下降的一种改进形式，它使用衰减的移动平均线，而不仅仅是当前值。因此，理想情况下，我们需要一种带有移动平均滤波器的技术来克服 RProp 的问题，同时仍然保持 RProp 的鲁棒性和高效性。值是在学习率项中除以的，因此如果 Vdw 较低，则学习率增加，反之亦然。然后，我们计算梯度并创建另一个 for 循环来计算每个变量的梯度平均值的平方。
RmsProp学习
weixin_41084234的博客
05-20 1094
RMSProp是一种常见的神经网络优化算法，它主要用于控制神经网络中的梯度更新过程，有助于提高训练的速度和效果。RMSProp的全称是Root Mean Square Propagation（均方根传播），可以看做是Adagrad算法的改进版。RMSProp算法的核心思想是，以加速权重的收敛过程。在RMSProp算法中，每个权重都有独立的学习率，并且该学习率会根据该权重的历史梯度的大小进行动态调整。具体来说，RMSProp算法会计算。这个平方根相当于在对较大的梯度进行压缩，而对较小的梯度进行扩展。
吴恩达深度学习笔记(44)-RMSprop
Harpoon_fly的博客
12-29 1293
RMSprop 你们知道了动量（Momentum）可以加快梯度下降，还有一个叫做RMSprop的算法，全称是root mean square prop算法，它也可以加速梯度下降，我们来看看它是如何运作的。 回忆一下我们之前的例子，如果你执行梯度下降，虽然横轴方向正在推进，但纵轴方向会有大幅度摆动，为了分析这个例子，假设纵轴代表参数b，横轴代表参数W，可能有W_1，W_2或者其它重要的参数，为了便...
RMSprop、动量梯度下降法与Adam优化 [Andrew Ng 深度学习笔记]
Originum的博客
05-19 850
如图： 对于蓝色的情况，由于梯度下降时来回摆动，导致收敛很慢 若增大学习率，结果可能偏离函数的范围，如紫色的情况。为了避免摆动过大，就必须使用较小的学习率，进一步降低了收敛速度 我们希望的是在纵轴上减缓学习，在横轴上加快学习，如红色的情况。有多种方法可以实现 动量梯度下降法（Momentum） 此处用了指数加权平均的更新方法 因为纵轴有许多摆动，在求平均的时候都可以被抵消，最后...
十三、机器学习进阶知识：神经网络之反向传播算法（自适应梯度算法Adagrad）
weixin_42051846的博客
03-06 1023
本文主要介绍了反向传播算法中的自适应梯度算法（Adagrad），同时以神经网络数据预测为例对它的实现过程进行了说明，通俗易懂，适合新手学习，附源码及实验数据集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值