深度学习优化函数详解（6）-- adagrad

最新推荐文章于 2024-06-08 09:29:07 发布
最新推荐文章于 2024-06-08 09:29:07 发布
阅读量1.7w 收藏 61
点赞数 12
分类专栏： 深度学习 深度学习优化函数详解 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tsyccnh/article/details/76769232
版权

深度学习优化函数详解系列目录

本系列课程代码，欢迎star：
https://github.com/tsycnh/mlbasic

深度学习优化函数详解（0）-- 线性回归问题
深度学习优化函数详解（1）-- Gradient Descent 梯度下降法
深度学习优化函数详解（2）-- SGD 随机梯度下降
深度学习优化函数详解（3）-- mini-batch SGD 小批量随机梯度下降
深度学习优化函数详解（4）-- momentum 动量法
深度学习优化函数详解（5）-- Nesterov accelerated gradient (NAG)
深度学习优化函数详解（6）-- adagrad

前面的一系列文章的优化算法有一个共同的特点，就是对于每一个参数都用相同的学习率进行更新。但是在实际应用中各个参数的重要性肯定是不一样的，所以我们对于不同的参数要动态的采取不同的学习率，让目标函数更快的收敛。
adagrad方法是将每一个参数的每一次迭代的梯度取平方累加再开方，用基础学习率除以这个数，来做学习率的动态更新。这个比较简单，直接上公式。

公式推导

∇ θ i J ( θ ) \nabla_{\theta_i} J(\theta) ∇θi​​J(θ) 表示第 i i i 个参数的梯度，对于经典的SGD优化函数我们可以这样表示
θ i _ n e w = θ i − η ∇ θ i J ( θ ) \theta_{i\_new}=\theta_i - \eta\nabla_{\theta_i} J(\theta) θi_new​=θi​−η

最低0.47元/天 解锁文章
史丹利复合田
关注
  • 12
    点赞
  • 踩
  • 61
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
深度学习中的优化算法之AdaGrad
网络资源是无限的
05-14 1万+
之前在https://blog.csdn.net/fengbingchun/article/details/123955067 介绍过SGD(Mini-Batch Gradient Descent(MBGD)，有时提到SGD的时候，其实指的是MBGD)。这里介绍下自适应梯度优化算法。 AdaGrad：全称Adaptive Gradient，自适应梯度，是梯度下降优化算法的扩展。AdaGrad是一种具有自适应学习率的梯度下降优化方法。它使参数的学习率自适应，对不频繁的参数执行较大的更...
深度学习常见优化算法，图解AdaGrad、RMSProp，Adam
鸥鹭忘机
10-14 4341
该优化算法在较为平缓处学习速率大，有比较高的学习效率，在陡峭处学习率小，在一定程度上可以避免越过极小值点。在SDG优化算法中不能自适应学习率，如图1所示，在函数的初始位置比较平缓，利用AdaGrad优化算法可以很快的到达较优点，而SGD几乎没有移动。如图2所示，初始位置比较陡峭，AdaGrad优化算法会自动调整学习率，然后顺利的到达最优点，而SGD在学习率比较大的情况下会在斜坡两边来回摆动。也就是说在当前梯度与之前梯度之间添加了权重，如果当前梯度的权重较大，那么响应速度也就更快。为常数，表示学习率。
【机器学习】【深度学习】优化器（Optimizer）
最新发布
SmallBamboo的博客
06-08 1435
优化器(Optimizer)是深度学习中的一个核心的概念，用于更新神经网络的权重，以减少或最小化损失函数(loss function)的值。损失函数衡量了模型的预测值与真实值之间的差异，而优化器的目标是通过调整网络参数来最小化这个差异，从而提高模型的准确性和性能。在神经网络训练过程中，优化器在反向传播过程中起着至关重要的作用。反向传播计算了损失函数相当于模型参数的梯度(即损失函数的导数)，优化器则使用这些梯度来更新模型的参数。
【优化器】(二) AdaGrad原理 & pytorch代码解析
Lizhi_Tech的博客
07-13 1439
在上一篇文章里，我们介绍了SGD这个最朴素的梯度下降方法，以及其Momentum和NAG的优化改进方法。我们现在又回过头来看这个没加Momentum的图，可以看到在垂直方向上的梯度较大，走得很快，而水平方向上的位移较小，走的很慢，看着就很急！但你先别急，那么能不能不使用Momentum就让水平方向上的位移大一点，垂直方向上的位移小一点呢？我们想要迄今为止梯度大的参数（即垂直方向）更新得慢一点，梯度小的参数（即水平方向）更新得快一点，这个就是二阶动量的定义
adagrad
qq_43263543的博客
11-13 1371
Adagrad是解决不同参数应该使用不同的更新速率的问题。Adagrad自适应地为各个参数分配不同学习率的算法。其公式如下： gradient比较大的时候，走的地方比较陡峭，希望步长小一点，避免走过，gradient比较小的时候，走的地方比较平缓，希望步长大一点。 ...
深度学习AdaGrad算法
我亦是行人
01-02 4409
AdaGrad算法 在一般的优化算法中，目标函数自变量的每一个元素在相同时间步都使用同一个学习率来自我迭代。 例如，假设目标函数为fff，自变量为一个二维向量[x1,x2]⊤[x_1, x_2]^\top[x1​,x2​]⊤，该向量中每一个元素在迭代时都使用相同的学习率。 例如，在学习率为η\etaη的梯度下降中，元素x1x_1x1​和x2x_2x2​都使用相同的学习率η\etaη来自我迭代： x1←x1−η∂f∂x1,x2←x2−η∂f∂x2. x_1 \leftarrow x_1 - \eta \fra
Python-nolearn是scikitlearn兼容的神经网络库
08-11
这个库的设计理念是为了与流行的scikit-learn（sklearn）库保持高度兼容，使得数据科学家和机器学习工程师能够无缝地在传统的机器学习算法和深度学习模型之间切换。nolearn库不仅提供了神经网络模型，还包含了一些...
caffe源码——深度学习框架
06-27
《Caffe深度学习框架详解——源码解析及接口应用》 Caffe，全称为Convolutional Architecture for Fast Feature Embedding，是由Berkeley Vision and Learning Center（BVLC）开发的开源深度学习框架，以其高效、...
深度学习基础概念(详细)
12-11
这个主题包“深度学习基础概念(详细)”涵盖了深度学习的基石，包括但不限于神经网络的构建、反向传播算法、损失函数、优化器、激活函数、卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）、自编码...
Deep-Learning-with-PyTorch-master_quarterwi1_pytorch_深度学习算法的pyto
10-05
《PyTorch实现深度学习算法详解》 PyTorch，作为一个强大的深度学习框架，由Facebook的AI研究团队开发，以其动态计算图模式和易用性受到了广大开发者和研究人员的青睐。本资料集“Deep-Learning-with-PyTorch-...
基于Pytorch版本的深度学习相关代码.zip
05-09
《PyTorch深度学习实践详解》 PyTorch是一款由Facebook的AI研究团队开发的开源机器学习库，它以其灵活性和易用性在深度学习领域备受青睐。本压缩包“基于Pytorch版本的深度学习相关代码.zip”包含了多个示例和项目...
动手学深度学习：7.5 AdaGrad算法
qq_38888209的博客
08-10 306
7.5 AdaGrad算法在之前介绍过的优化算法中，目标函数自变量的每一个元素在相同时间步都使用同一个学习率来自我迭代。举个例子，假设目标函数为ff fst​的累加效果使学习率不断衰减，自变量在迭代后期的移动幅度较小。%matplotlib inline import math import torch import sys sys.path.append("..") import d2lzh_pytorch as d2l def adagrad_2d(x1, x2, s1, s2): g1,
AdaDelta算法
XiangJiaoJun_的博客
11-11 2万+
记录一下自己的学习过程~也能让自己的印象更深吧 AdaDelta算法主要是为了解决AdaGrad算法中存在的缺陷，下面先介绍一下AdaGrad算法优点和以及存在的问题： AdaGrad的迭代公式如下所示： Δxt=η∑i=1tgi2∗gt\Delta{x_{t}}=\frac{\eta}{\sqrt{\sum_{i=1}^{t}{g_i^2}}}*g_tΔxt​=∑i=1t​gi2​​η​∗gt​...
Momentum、Adagrad、RMSprop、Adadelta、Adam【详细公式总结对比、pytorch实现】
Bryce-HJ
07-22 960
先放一张公式汇总图： Contents1 Momentum动量优化算法1.1 梯度下降的问题1.2 动量法1.3 动量法的简洁实现2 ADAGRA算法2.1 算法简介2.2 从零开始实现2.3ADAGRAD简洁实现3 RMSprop算法3.1 算法简介3.2 从零开始实现3.3 RMSprop简洁实现4 AdaDelta优化算法4.1 算法简介4.2 从零开始实现4.3 AdaDelta的简洁实现5 ADAM优化算法5.1 算法简介5.2 从零开始实现5.3 Adam简洁实现 1 Momentum动量优化
ADaGrad算法的理解
weixin_52525925的博客
04-06 459
AdaGrad算法 作用：独立地适应模型的每个参数：具有较大偏导的参数相应有一个较大的学习率，而具有小偏导的参数则对应一个较小的学习率 通过下面公式调整学习率 这里的学习率其实没有被更新而是每次应用时被缩放 存在问题 学习率是单调递减的，训练后期学习率过小会导致训练困难，甚至提前结束 代码展示 当学习率为0.4时到最后很难达到最优解 当学习率为2时达到最优解的速度很快 ...
机器学习入门-第三天
king52113141314的博客
05-10 528
梯度下降 1,自适应梯度下降Adagrad 1,牛顿法 并不是所有的方程都有求根公式，或者求根公式很复杂，导致求解困难。利用牛顿法，可以迭代求解。原理是利用泰勒公式，在x0处展开，且展开到一阶，即f(x) = f(x0)+(x－x0)f'(x0) 求解方程f(x)=0，即f(x0)+(x-x0)*f'(x0)=0，求解x =x1=x0－f(x0)/f'(x0)，因为这是利用泰勒公式的一阶展开，f(x) = f(x0)+(x－x0)f'(x0)处并不是完全相等，而是近似相等，这里求得的x1并不能让f.
Deep Learning 最优化方法之AdaGrad
BVL的博客
05-21 2万+
本文是Deep Learning 之 最优化方法系列文章的Nesterov(牛顿动量)方法。主要参考Deep Learning 一书。先上结论：1.简单来讲，设置全局学习率之后，每次通过，全局学习率逐参数的除以历史梯度平方和的平方根，使得每个参数的学习率不同2.效果是：在参数空间更为平缓的方向，会取得更大的进步（因为平缓，所以历史梯度平方和较小，对应学习下降的幅度较小）3.缺点是,使得学习率过早，过
深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）...
weixin_34326179的博客
03-10 3164
在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？ 在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arxiv.org/pdf/1609.04747.pdf 本文将梳理： 每个算法的梯度更新规则和缺点 为了应对这个不足而提出的下...
深度学习 --- 优化入门二（SGD、动量(Momentum)、AdaGrad、RMSProp、Adam详解）
热门推荐
进击的菜鸟
11-30 4万+
另在一篇文章中，我们介绍了随机梯度下降的细节以及如何解决陷入局部最小值或鞍点等问题。在这篇文章中，我们看看另一个困扰神经网络训练的问题，即病态曲率。 虽然局部最小值和鞍点可以阻止我们的训练，但是病态曲率可以使训练减慢到机器学习从业者可能认为搜索已经收敛到次优极小值的程度。让我们深入了解病理曲率是什么。 病态曲率 考虑以下损失轮廓。                            ...
DeepLearning深度学习教程_第四章_经典网络.pdf
08-23
DeepLearning 深度学习 经验总结

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值