机器学习笔记：RMSProp，Adadelta

已于 2022-02-14 17:15:31 修改
阅读量378 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 机器学习 自然语言处理
于 2021-09-19 13:35:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/120379729
版权

1 RMSProp

改进的是Adagrad中 对所有之前的梯度求平方和，会导致最后分母很大，参数更新越来越小

相比于 Adagrad，RMSProp也是整合了所有之前的梯度，但是Adagtad是直接求和，这边是加权求和，每个梯度对应的权重是不相同的

这个值可以手动调整

α越小，表示越相信最新的梯度

和momentum一样，越早的梯度，对于后面的影响越少（指数级减少）

2 AdaDelta

2.1 第一版AdaDelta

和RMSProp 很类似（个人感觉是一个东西？）

 

2.2 第二版AdaDelta

        第一版adaDelta和RMSProp 的问题在于，学习率η还是需要人为定的，如果太大的话，会导致学习的时候更新幅度很震荡，如果太小的话，会导致学习得很慢 

        所以这里对AdaDelta进行了进一步的改进：

\Delta \theta_t=-\frac{\sqrt{E[\Delta \theta^2]_{t-1} +\epsilon_1}}{\sqrt{E[g^2]_t +\epsilon_2} }g_t

其中

 

这样的话AdaDelta 就不依赖于学习率η的选择了

 

UQI-LIUWJ
关注
专栏目录
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 26万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
RMSProp算法和AdaDelta算法
qq_24503095的博客
12-27 2326
AdaGrad算法在迭代后期由于学习率过小，可能较难找到一个有用的解。 为了解决这一问题，RMSProp算法对AdaGrad算法做了一点小小的修改。 RMSProp算法 RMSProp算法将截止时间ttt步所有小批量随机梯度gtg_tgt​按元素平方做指数加权移动平均。具体来说，给定超参数0≤γ<10\leq\gamma <10≤γ<1,RMSProp算法在时间步t>0t&...
机器学习的优化程序库，用Python实现了梯度下降、LBFGS、rmsprop、adadelta 等算法。
05-18
机器学习的优化程序库，用Python实现了梯度下降、LBFGS、rmsprop、adadelta 等算法。
RMSE 和 RMS 介绍
最新发布
HJQD777的博客
09-08 648
RMSE（Root Mean Square Error）和 RMS（Root Mean Square）都是衡量误差或数据变动的统计量。它们在数据分析、机器学习和统计中应用广泛。以下是它们的详细介绍：定义：计算公式：用途：定义：计算公式：用途：
深度学习优化算法大全系列5:AdaDelta,RMSProp
bitcarmanlee的博客
01-14 1074
1.AdaGrad的缺点 前面在讲到AdaGrad的时候，我们也提到了他的缺点：其梯度累积的历史是单调递增的，导致训练越往后期学习率越小，学习率是一个单调递减不可逆的过程。因此我们可以只关注一段时间内梯度的累积，而不用关心历史所有时间梯度的累积，这样可以使得学习率不会一直保持单调递减，也是AdaDelta算法中Delta的由来。 2.AdaDelta/RMSProp优化 AdaDelta/RMSProp算法，主要是通过一个衰减系数，来控制历史梯度对当前的影响。而指数移动的平均值，差不多是过去一段时间的平均值
机器学习中的数学——RMSProp（Root Mean Square Prop）
冯·诺依曼
03-12 1万+
RMSProp算法修改AdaGrad以在非凸设定下效果更好，改变梯度积累为指数加权的移动平均。AdaGrad旨在应用于凸问题时快速收敛。当应用于非凸函数训练神经网络时，学习轨迹可能穿过了很多不同的结构，最终到达一个局部凸的区域。AdaGrad根据平方梯度的整个历史收缩学习率，可能使得学习率在达到这样的凸结构前就变得太小了。RMSProp使用指数衰减平均以丢弃遥远过去的历史，使其能够在找到凸碗状结构后快速收敛，它就像一个初始化于该碗状结构的AdaGrad算法实例。相比于AdaGrad，使用移动平均引入了一个新
深度学习中的优化方法-Adadelta、RMSProp
hanjiangxue_wei的博客
01-31 1931
码字不易，转载请注明出处~ tags: deep learning; optimizesr; Adadelta; RMSProp AdaGrad虽然能够实现学习率的自适应，然而还是由于其本身存在的部分缺点导致使用起来并非很方便，比如学习率衰减比较快等。在凸优化问题中，是可以通过这种快速学习率衰减的方法来尽快达到最优点。然而，对于神经网络或者其它很多非凸问题，这种变化会导致网络在训练的中间就停止了参...
【学习笔记】李宏毅2021春机器学习课程第一节：机器学习基本概念简介
Harryline的博客
07-11 578
7月10日 一、李宏毅2021春机器学习课程-第一节 试了不同的参数,然后计算它的Loss，画出来的这个等高线图叫做Error Surface，是机器学习的第二步。 来自model本身的限制叫做model bias ReLU ReLU 和 sigmoid哪一个更好呢？ Deep Learning名称的由来 **过拟合（overfitting）**问题 反向传播（Backpropagation）：(3条消息) 反向传播——通俗易懂_chengchaowei的博客-CSD
机器学习笔记
kaku812814843的博客
05-03 3430
机器学习（machine learning）：用已有的数据训练某种模型，利用模型预测未来 Python机器学习库官网https://scikit-learn.org/stable/ 机器学习分为有监督的机器学习和无监督的机器学习 有监督的机器学习：回归、分类 无监督的机器学习：聚类、降维 numpy数学计算框架 scipy物理计算框架 pandas数据分析框架 matplotlib...
吴恩达推荐笔记：22张图总结深度学习全部知识
程序员生活志的博客
07-13 912
最近在做笔记查阅内容，觉得这个总结太美观了，真是棒！ 吴恩达在推特上展示了一份由 TessFerrandez 完成的深度学习专项课程信息图，这套信息图优美地记录了深度学习课程的知识与亮点。因此它不仅仅适合初学者了解深度学习，还适合机器学习从业者和研究者复习基本概念。这不仅仅是一份课程笔记，同时还是一套信息图与备忘录。 从深度学习基础、卷积网络和循环网络三个方面介绍该笔记 深度学习基础 1. 深度学习基本概念 监督学习：所有输入数据都有确定的对应输出数据，在各种网络架构中，输入数据和输出数据的.
学习笔记三：深度学习DNN2
m0_64375823的博客
11-25 1898
一、神经网络参数优化器 参考曹健《人工智能实践：Tensorflow2.0 》 深度学习优化算法经历了SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程。 上图中f一般指loss 一阶动量：与梯度相关的函数 二阶动量：与梯度平方相关的函数 不同的优化器，实质上只是定义了不同的一阶动量和二阶动量公式 2.2 SGD（无动量）随机梯度下降。 最常用的梯度下降方法是随机梯度下降，即随机采集样
Mxnet (30): RMSProp、AdaDelta、Adam算法
泛泛之素
10-02 453
1. RMSProp算法 RMSProp跟Adagrad一样作为将速率计划与坐标自适应学习速率分离的简单解决方案。 Adagrad累积梯度的平方 gt\mathbf{g}_tgt​ 到state向量 st=st−1+gt2\mathbf{s}_t = \mathbf{s}_{t-1} + \mathbf{g}_t^2st​=st−1​+gt2​。 由于 st\mathbf{s}_tst​缺少正则化会跟随算法的收敛呈线性增长。RMSProp算法将这些梯度按元素平方做指数加权移动平均：st←γst−1+(1−
优化算法：AdaGrad | RMSProp | AdaDelta | Adam
weixin_34216036的博客
04-27 334
0 - 引入 　　简单的梯度下降等优化算法存在一个问题：目标函数自变量的每一个元素在相同时间步都使用同一个学习率来迭代，如果存在如下图的情况（不同自变量的梯度值有较大差别时候），存在如下问题： 选择较小的学习率会使得梯度较大的自变量迭代过慢 选择较大的学习率会使得梯度较小的自变量迭代发散 　　因此，自然而然想到，要解决这一问题，不同自变量应该根据梯度的不同有不同的学习率。本篇介绍的...
优化算法--Adagrad，RMSProp，AdaDelta，Adam
zenglaoshi的博客
11-26 1230
优化算法–Adagrad 自适应学习率 ​ 随机梯度下降算法，目标函数自变量的每一个元素在相同时间步都使用同一个学习率来自我迭代。举个例子，假设目标函数为fff，自变量为一个二维向量[x1,x2]⊤[x_1, x_2]^\top[x1​,x2​]⊤，该向量中每一个元素在迭代时都使用相同的学习率。例如，在学习率为η\etaη的梯度下降中，元素x1x_1x1​和x2x_2x2​都使用相同的学习率η\...
Pytorch优化器全总结（二）Adadelta、RMSprop、Adam、Adamax、AdamW、NAdam、SparseAdam
热门推荐
xian0710830114的专栏
09-15 3万+
这篇文章是优化器系列的第二篇，也是最重要的一篇，上一篇文章介绍了几种基础的优化器，这篇文章讲介绍一些用的最多的优化器：Adadelta、RMSprop、Adam、Adamax、AdamW、NAdam、SparseAdam。这些优化器中Adadelta和RMSprop是对上一篇中Adagrad的优化；Adam结合了Momentum 和 RMSprop；Adamax、AdamW、NAdam又是对Adam的改进，可以看到优化器一步一步升级的过程，所以我们放在一篇文章中。
adadelta算法_优化算法：AdaGrad | RMSProp | AdaDelta | Adam
weixin_39530647的博客
12-22 215
0 - 引入简单的梯度下降等优化算法存在一个问题：目标函数自变量的每一个元素在相同时间步都使用同一个学习率来迭代，如果存在如下图的情况(不同自变量的梯度值有较大差别时候)，存在如下问题：选择较小的学习率会使得梯度较大的自变量迭代过慢选择较大的学习率会使得梯度较小的自变量迭代发散　　因此，自然而然想到，要解决这一问题，不同自变量应该根据梯度的不同有不同的学习率。本篇介绍的几种优化算法都是基于这个思想...
Pytorch常用的函数(八)常见优化器SGD,Adagrad,RMSprop,Adam,AdamW总结
qq_44665283的博客
04-23 3398
Pytorch常用的函数(八)常见优化器SGD,Adagrad,RMSprop,Adam,AdamW总结
李宏毅老师机器学习RMSProp中关于learning rate的解释与思考
qq_40349484的博客
11-15 510
就是这张PPT让我非常疑惑，因为上一张讲的是“平坦的地方learning rate越大，陡峭的地方learning rate越小”，怎么换了下一张就变了？绿色明显比红色要平坦，learning rate应该大啊，为什么ppt上写的是小呢？ 如果也有人这么想的话，那么我们都犯了一个关键性的错误。所谓“平坦的地方learning rate越大”，这个是Adagrad的思想，由Adagrad的公式决定。这里贴个图。 但是真正的learning rate的更新可不是这样的，在陡峭的时候，说明离收敛越远，所以..
【机器学习】机器学习基本概念术语
m0_67403013的博客
05-15 233
序言 记录机器学习基本概念，不做详细解释，常识积累。长期更新… # 监督学习 监督学习：数据有label，主要是分类和回归两种方法 监督学习的任务是学习一个模型，对输入做一个好的预测 # 无监督学习 无监督学习：数据无label，主要是降维和聚类 无监督学习对数据直接进行建模，事先不知道输入数据的输出结果是什么 # 迁移学习 将某个领域或任务上学到的知识或模式应用到不同但相关领域的问题中 问题来源：监督学习要求数据同分布且完成数据标注，数据分布的差异和数据标注过期问题（主要是数据分布差异），如何更
机器学习笔记：Logistic回归解析
"这篇PDF文件是关于机器学习中的Logistic回归的笔记，主要记录了作者在观看吴恩达机器学习课程后的学习要点。内容涵盖了分类、假设陈述、决策界限、代价函数以及多元分类等关键概念。" 在机器学习中，Logistic回归...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值