深度学习优化函数详解（6）-- adagrad

最新推荐文章于 2024-08-07 23:29:27 发布
最新推荐文章于 2024-08-07 23:29:27 发布
阅读量1.8w 收藏 61
点赞数 12
分类专栏： 深度学习 深度学习优化函数详解 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tsyccnh/article/details/76769232
版权
本文深入探讨Adagrad优化算法，它根据每个参数的历史梯度动态调整学习率，以适应不同参数的重要性。通过公式推导解释其工作原理，并通过实验展示Adagrad在实践中学习率逐渐减小导致收敛速度变慢的问题。
摘要由CSDN通过智能技术生成

深度学习优化函数详解系列目录

本系列课程代码，欢迎star：
https://github.com/tsycnh/mlbasic

深度学习优化函数详解（0）-- 线性回归问题
深度学习优化函数详解（1）-- Gradient Descent 梯度下降法
深度学习优化函数详解（2）-- SGD 随机梯度下降
深度学习优化函数详解（3）-- mini-batch SGD 小批量随机梯度下降
深度学习优化函数详解（4）-- momentum 动量法
深度学习优化函数详解（5）-- Nesterov accelerated gradient (NAG)
深度学习优化函数详解（6）-- adagrad

前面的一系列文章的优化算法有一个共同的特点，就是对于每一个参数都用相同的学习率进行更新。但是在实际应用中各个参数的重要性肯定是不一样的，所以我们对于不同的参数要动态的采取不同的学习率，让目标函数更快的收敛。
adagrad方法是将每一个参数的每一次迭代的梯度取平方累加再开方，用基础学习率除以这个数，来做学习率的动态更新。这个比较简单，直接上公式。

公式推导

∇ θ i J ( θ ) \nabla_{\theta_i} J(\theta) ∇θi​​J(θ) 表示第 i i i 个参数的梯度，对于经典的SGD优化函数我们可以这样表示
θ i _ n e w = θ i − η ∇ θ i J ( θ ) \theta_{i\_new}=\theta_i - \eta\nabla_{\theta_i} J(\theta) θi_new​=θi​−η

最低0.47元/天 解锁文章
史丹利复合田
关注
专栏目录
AdaGrad算法
bl128ve900的博客
08-02 9665
参考： 深度学习优化方法-AdaGradhttps://blog.csdn.net/program_developer/article/details/80756008 AdaGrad算法介绍 表示第i个参数的梯度，对于经典的SGD优化方法，参数θ的更新为： 再来看AdaGrad算法表示为： 其中，r为梯度累积变量，r的初始值为0。ε为全局学习率，需要自己设置。δ为小常数，为了...
adagrad
qq_43263543的博客
11-13 1389
Adagrad是解决不同参数应该使用不同的更新速率的问题。Adagrad自适应地为各个参数分配不同学习率的算法。其公式如下： gradient比较大的时候，走的地方比较陡峭，希望步长小一点，避免走过，gradient比较小的时候，走的地方比较平缓，希望步长大一点。 ...
python使代码运行到某一行暂时停止的多种方法
最新发布
weixin_44012667的博客
08-07 455
通过上述方法，我们可以根据需要在 Python 代码中设置暂停点，以便进行调试或等待用户输入。时，它会暂停并进入交互式调试模式，允许我们检查变量和执行其他调试操作。pdb.set_trace() # 只有在条件满足时设置断点。在调试复杂代码时，可能希望在满足特定条件时暂停执行。pdb.set_trace() # 设置断点。time.sleep(5) # 暂停5秒。可以使用 Python 的内置调试器。函数是设置断点的推荐方法，它是。希望代码暂停一段时间，可以使用。最简单的方法之一是使用。
深度学习中的优化方法-AdaGrad
hanjiangxue_wei的博客
01-31 913
码字不易，转载请注明出处~ tags: optimizer;AdaGrad 本文来源于下面博客： https://medium.com/konvergen/an-introduction-to-adagrad-f130ae871827 前面讲到梯度下降法以及带动量的梯度下降法、NAG等，它们的一个共同的特点是都包含学习率η\etaη这个参数，而这个参数的选择属于超参数的范围。个人感觉超参数包含了两...
深度学习之AdaGrad算法
MumuziD的博客
04-02 1892
AdaGrad 算法根据自变量在每个维度的梯度值调整各个维度的学习率，从而避免统一的维度难以适应所有维度的问题。 特点： 小批量随机梯度按元素累加变量，出现在学习率的分母项中。（若目标函数有关自变量的偏导数一直都较大，那么学习率下降较快；反之亦然。） 若迭代早期下降过快 + 当前解仍然不佳，可能导致很难找到有效解。 一、算法初解 实现AdaGrad算法，使⽤的学习率为0.4。...
深度学习优化函数详解（1）-- Gradient Descent 梯度下降法
史丹利复合田的博客
07-23 1万+
深度学习优化函数详解系列目录 深度学习优化函数详解（0）– 线性回归问题 深度学习优化函数详解（1）– Gradient Descent 梯度下降法 深度学习优化函数详解（2）– SGD 随机梯度下降 深度学习优化函数详解（3）– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解（4）– momentum 动量法 深度学习优化函数详解（5）– Neste...
深度学习优化函数详解（0）-- 线性回归问题
史丹利复合田的博客
07-22 1万+
深度学习优化函数详解系列目录 深度学习优化函数详解（0）– 线性回归问题 深度学习优化函数详解（1）– Gradient Descent 梯度下降法 深度学习优化函数详解（2）– SGD 随机梯度下降 深度学习优化函数详解（3）– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解（4）– momentum 动量法 深度学习优化函数详解（5）– Neste...
深度学习优化方法-AdaGrad
热门推荐
Microstrong
06-21 2万+
“微信公众号” 梯度下降算法、随机梯度下降算法（SGD）、小批量梯度下降算法（mini-batch SGD）、动量法（momentum）、Nesterov动量法有一个共同的特点是：对于每一个参数都用相同的学习率进行更新。 但是在实际应用中，各个参数的重要性肯定是不一样的，所以我们对于不同的参数要动态的采取不同的学习率，让目标函数更快的收敛。 A...
华为mindspore培训资料：2.深度学习优化器详解
03-24
### 华为MindSpore培训资料：深度学习优化器详解 #### 一、梯度下降算法 梯度下降算法是一种常用的优化技术，在机器学习和深度学习领域占据着核心地位。该算法通过逐步调整模型参数来最小化损失函数，进而使模型...
深度学习中的优化算法之AdaGrad
网络资源是无限的
05-14 1万+
之前在https://blog.csdn.net/fengbingchun/article/details/123955067 介绍过SGD(Mini-Batch Gradient Descent(MBGD)，有时提到SGD的时候，其实指的是MBGD)。这里介绍下自适应梯度优化算法。 AdaGrad：全称Adaptive Gradient，自适应梯度，是梯度下降优化算法的扩展。AdaGrad是一种具有自适应学习率的梯度下降优化方法。它使参数的学习率自适应，对不频繁的参数执行较大的更...
Adagrad
weixin_37958272的博客
07-05 530
Adagrad Adagrad [3，Adaptive Subgradient Methods for Online Learning and Stochastic Optimization] 就是这样一种解决这个问题的基于梯度的优化算法：根据参数来调整学习率，对于不常见的参数给予更大的更新，而对于常见的给予更小的更新。因此，Adagrad 非常适用于稀疏数据。Dean 等人 [4，Large Scale Distributed Deep Networks] 发现 Adagrad 能够大幅提高 SGD 的鲁
深度学习优化算法大全系列4:AdaGrad(Adaptive Gradient)
bitcarmanlee的博客
01-13 1395
1.参数调整 之前提到的SGD-Momentum(动量), NAG等算法，都是针对梯度的方向做相关优化，而且使用的都是一阶动量。而神经网络有许多超参数(Hyper-Parameter)，这些超参数的选择也是模型选择调优的一项重要工作，因此很多算法工程师也自己戏谑为"调参工程师"或者"调包侠"，就可以看出参数的重要性。 在经典的梯度下降中，不同的变量，采用的是一个全局的学习率。但是实际情况中，不同的变量对于目标函数的依赖不同。举个简单的例子，对于有些参数，因为特征出现次数多属于稠密特征，可能在训练开始不就以后
AdaGrad优化器（理论、公式、代码实现）
m0_48923489的博客
03-19 1973
AdaGrad（Adaptive Gradient Algorithm）是一种自适应学习率的梯度下降算法，于2011年由Duchi等人提出。这个算法主要是为了解决标准的梯度下降算法中学习率一成不变的问题。在标准的梯度下降算法中，如果学习率过大，可能会导致算法在最小值附近震荡而不收敛；如果学习率过小，又会导致收敛速度过慢。AdaGrad算法通过自适应调整每个参数的学习率，尝试解决这个问题。
AdaGrad
m0_37347812的博客
06-17 137
参考：pytorch学习笔记（三十六）：AdaGrad
【快速理解Adagrad】通俗解释Adagrad梯度下降算法
qq_45193872的博客
04-13 1万+
梯度下降算法经常用来完成神经网络的训练以及拟合优化，梯度下降算法会影响网络训练的速度和精度，而Adagrad算法是一种比较不错的梯度下降算法。
AdaGrad：自适应学习率下的梯度优化算法
m0_70911440的博客
12-04 714
在深度学习中，优化算法对于模型的收敛速度和性能起着至关重要的作用。AdaGrad是一种自适应学习率的梯度优化算法，它能够根据参数梯度的历史信息自适应地调整学习率，从而有效地解决了在训练过程中学习率衰减过快或过慢的问题。本文将深入介绍AdaGrad算法的原理、优势以及在深度学习中的应用。它在这些任务中都表现出了良好的优化效果，并被广泛应用于深度学习框架中，如TensorFlow和PyTorch等。在深度学习中的各个任务和模型中，AdaGrad已被广泛使用，并呈现出优秀的优化效果。
深度学习优化算法：AdaGrad算法
ywm_up
08-31 1566
原文链接：动手学深度学习pytorch版：7.5 AdaGrad算法 github：https://github.com/ShusenTang/Dive-into-DL-PyTorch 原论文： [1] Duchi, J., Hazan, E., & Singer, Y. (2011). Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning R
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值