Deep Learning 最优化方法之AdaGrad

最新推荐文章于 2025-09-20 22:59:29 发布
原创 最新推荐文章于 2025-09-20 22:59:29 发布 · 2.2w 阅读 · 45 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #优化

本文介绍了AdaGrad优化方法，该方法通过将全局学习率按每个参数的历史梯度平方和的平方根进行调整，实现了参数级的学习率自适应调整。这种方法在参数空间中较为平缓的方向上能取得更大的进步，但可能会导致学习率过早减少。

本文是Deep Learning 之 最优化方法系列文章的AdaGrad方法。主要参考Deep Learning 一书。

整个优化系列文章列表：

Deep Learning 之 最优化方法

Deep Learning 最优化方法之SGD

Deep Learning 最优化方法之Momentum（动量）

Deep Learning 最优化方法之Nesterov(牛顿动量)

Deep Learning 最优化方法之AdaGrad

Deep Learning 最优化方法之RMSProp

Deep Learning 最优化方法之Adam

先上结论：

1.简单来讲，设置全局学习率之后，每次通过，全局学习率逐参数的除以历史梯度平方和的平方根，使得每个参数的学习率不同

2.效果是：在参数空间更为平缓的方向，会取得更大的进步（因为平缓，所以历史梯度平方和较小，对应学习下降的幅度较小）

3.缺点是,使得学习率过早，过量的减少

4.在某些模型上效果不错。

具体见算法：
这里写图片描述

Java Deeplearning4j：实现文本分类
在技术的广袤天地里，本博客如精准罗盘。剖析前沿科技，深掘代码奥秘，以精炼笔触，带您穿越复杂技术迷宫，速达知识彼岸。
10-09 4539
在本文中，我们介绍了如何使用 DeepLearning4J 构建、训练和评估文本分类模型。我们首先准备了数据集，并进行了数据预处理和向量化。然后，我们构建了一个 RNN 模型，并配置了训练参数。最后，我们使用训练数据训练模型，并使用测试数据评估模型的性能。通过调整模型和参数，我们可以提高模型的性能。
Java Deeplearning4j：高级应用 之 自定义层和损失函数
在技术的广袤天地里，本博客如精准罗盘。剖析前沿科技，深掘代码奥秘，以精炼笔触，带您穿越复杂技术迷宫，速达知识彼岸。
10-03 3051
在深度学习领域，是一个强大的库，它为Java开发者提供了构建和训练神经网络的便捷方式。然而，在实际应用中，标准的层和损失函数可能无法满足特定的需求。这时，使用来自定义层和损失函数就变得非常重要。本文将深入探讨在Java中使用进行自定义层和损失函数的相关知识，包括如何创建、使用以及如何将它们集成到模型中进行训练和评估。在神经网络中，层是构建模型的基本组件。自定义层是指根据特定的需求，通过实现特定的接口或继承特定的抽象类来创建的新的神经网络层。
优化算法optimization：AdaGrad
八门金锁的技术博客
12-15 541
AdaGrad算法 提出动机 在SGD的每次迭代中，目标函数自变量的每一个元素在相同时间步都使用同一个学习率来进行迭代。我们考虑一个二维输入向量x=[x1,x2]Tx = [x_1,x_2]^Tx=[x1​,x2​]T和目标函数$f(x) $。 x1=x1−η∂f∂x1x2=x2−η∂f∂x2 x_1 = x_{1} - \eta \frac {\partial f} {\partial x_1} \\\\ x_2 = x_{2} - \eta \frac {\partial f} {\partial x_
动手学深度学习：7.5 AdaGrad算法
qq_38888209的博客
08-10 393
7.5 AdaGrad算法在之前介绍过的优化算法中，目标函数自变量的每一个元素在相同时间步都使用同一个学习率来自我迭代。举个例子，假设目标函数为ff fst​的累加效果使学习率不断衰减，自变量在迭代后期的移动幅度较小。%matplotlib inline import math import torch import sys sys.path.append("..") import d2lzh_pytorch as d2l def adagrad_2d(x1, x2, s1, s2): g1,
随机梯度下降（SGD）算法及其在机器学习中的应用
最新发布
MoRanzhi1203的博客
09-20 2135
随机梯度下降（SGD）是一种高效的优化方法，适用于大规模数据的回归和分类任务。本文介绍了 SGD 的算法原理、数学模型、实现流程及参数解析，并通过 Python `scikit-learn` 案例展示其在回归（加州房价预测）与分类（鸢尾花分类）中的应用与可视化效果。
深度学习中的优化算法之AdaGrad
网络资源是无限的
05-14 1万+
之前在https://blog.csdn.net/fengbingchun/article/details/123955067 介绍过SGD(Mini-Batch Gradient Descent(MBGD)，有时提到SGD的时候，其实指的是MBGD)。这里介绍下自适应梯度优化算法。 AdaGrad：全称Adaptive Gradient，自适应梯度，是梯度下降优化算法的扩展。AdaGrad是一种具有自适应学习率的梯度下降优化方法。它使参数的学习率自适应，对不频繁的参数执行较大的更...
SGD,Adam,AdaGrad等优化算法
网瘾少年康复中心
01-26 1209
SGD 无动量，下降慢，会陷入局部最优点 SGD with Momentum 有一个动量，一般值为0.9，即0.9的程度考虑以往的方向，0.1程度考虑当前梯度方向。类似高速上开车，大方向不变的同时，微调方向。 SGD_NAG 万一你陷入局部最优怎么办，周围都是略高的山，所以要爬上去，才能看到更广阔的的世界 因此，某个时刻，不计算当前的梯度方向，跟着历史动量走一步，走完之后再根据下一点的
机器学习优化过程中的各种梯度下降方法（SGD，AdaGrad，RMSprop，AdaDelta，Adam，Momentum，Nesterov）
VisualCortex
04-24 9512
机器学习优化过程中的各种梯度下降方法（SGD，AdaGrad，RMSprop，AdaDelta，Adam，Momentum，Nesterov） 实际上，优化算法可以分成一阶优化和二阶优化算法，其中一阶优化就是指的梯度算法及其变种，而二阶优化一般是用二阶导数（Hessian 矩阵）来计算，如牛顿法，由于需要计算Hessian阵和其逆矩阵，计算量较大，因此没有流行开来。这里主要总结一阶优化的各种...
深度学习常见优化算法，图解AdaGrad、RMSProp，Adam
鸥鹭忘机
10-14 5555
该优化算法在较为平缓处学习速率大，有比较高的学习效率，在陡峭处学习率小，在一定程度上可以避免越过极小值点。在SDG优化算法中不能自适应学习率，如图1所示，在函数的初始位置比较平缓，利用AdaGrad优化算法可以很快的到达较优点，而SGD几乎没有移动。如图2所示，初始位置比较陡峭，AdaGrad优化算法会自动调整学习率，然后顺利的到达最优点，而SGD在学习率比较大的情况下会在斜坡两边来回摆动。也就是说在当前梯度与之前梯度之间添加了权重，如果当前梯度的权重较大，那么响应速度也就更快。为常数，表示学习率。
Deep Learning 最优化方法之SGD
BVL的博客
05-21 1万+
本文是Deep Learning 之 优化方法系列文章的SGD方法。主要参考Deep Learning 一书。在这里SGD和min-batch是同一个意思，抽取m个小批量（独立同分布）样本，通过计算他们平梯度均值。后面几个改进算法，均是采用min-batch的方式。先上一些结论：1.SGD应用于凸问题时，k次迭代后泛化误差的数量级是O(1/sqrt(k))，强凸下是O(1/k)。2.理论上GD比SG
Deep Learning 最优化方法之Nesterov(牛顿动量)
热门推荐
BVL的博客
05-21 2万+
本文是Deep Learning 之 最优化方法系列文章的Nesterov(牛顿动量)方法。主要参考Deep Learning 一书。先上结论： 1.Nesterov是Momentum的变种。 2.与Momentum唯一区别就是，计算梯度的不同，Nesterov先用当前的速度v更新一遍参数，在用更新的临时参数计算梯度。 3.相当于添加了矫正因子的Momentum。
Java Deeplearning4j：构建和训练循环神经网络（RNN）模型
在技术的广袤天地里，本博客如精准罗盘。剖析前沿科技，深掘代码奥秘，以精炼笔触，带您穿越复杂技术迷宫，速达知识彼岸。
09-29 3337
循环神经网络RNN）是一种专门为处理序列数据而设计的神经网络类型。序列数据在现实世界中非常常见，例如时间序列数据（如股票价格随时间的变化）、自然语言文本（单词的序列）等。与传统的前馈神经网络不同，RNN具有内部的循环结构，这使得它能够处理序列中的长期依赖关系。RNN具有记忆功能，可以记住过去的信息并将其应用于当前的计算。这使得 RNN 在处理时间序列数据（如语音文本股票价格等）方面表现出色。输入层接收序列数据的输入。例如，在处理文本数据时，如果我们使用词向量表示单词，输入层的维度将取决于词向量的维度。
深度学习优化算法大全系列4:AdaGrad(Adaptive Gradient)
bitcarmanlee的博客
01-13 1646
1.参数调整 之前提到的SGD-Momentum(动量), NAG等算法，都是针对梯度的方向做相关优化，而且使用的都是一阶动量。而神经网络有许多超参数(Hyper-Parameter)，这些超参数的选择也是模型选择调优的一项重要工作，因此很多算法工程师也自己戏谑为"调参工程师"或者"调包侠"，就可以看出参数的重要性。 在经典的梯度下降中，不同的变量，采用的是一个全局的学习率。但是实际情况中，不同的变量对于目标函数的依赖不同。举个简单的例子，对于有些参数，因为特征出现次数多属于稠密特征，可能在训练开始不就以后
机器学习中的数学——AdaGrad
冯·诺依曼
03-12 1万+
AdaGrad算法独立地适应所有模型参数的学习率，缩放每个参数反比于其所有梯度历史平方值总和的平方根。具有损失最大偏导的参数相应地有一个快速下降的学习率，而具有小偏导的参数在学习率上有相对较小的下降。净效果是在参数空间中更为平缓的倾斜方向会取得更大的进步。 在凸优化背景中，AdaGrad算法具有一些令人满意的理论性质。然而，经验上已经发现，对于训练深度神经网络模型而言，从训练开始时积累梯度平方会导致有效学习率过早和过量的减小。AdaGrad在某些深度学习模型上效果不错，但不是全部。 AdaGrad算法 输
深度学习入门之AdaGrad
weixin_46713695的博客
03-03 3870
在神经网络的学习中，学习率（数学式中记为η）的值很重要。学习率过小，会导致学习花费过多时间；反过来，学习率过大，则会导致学习发散而不能正确进行。 在关于学习率的有效技巧中，有一种被称为学习率衰减（learning rate decay）的方法，即随着学习的进行，使学习率逐渐减小。即，一开始“多”学，然后逐渐“少”学。（学习的意思是朝着损失函数最低处进行优化） AdaGrad 会为参数的每个元素适当地调整学习率，与此同时进行学习（AdaGrad 的 Ada 来自英文单词 Adaptive，即“适当的”..
优化算法 -AdGrad算法
yingzi的技术博客
09-16 894
这已经表明，即使在无噪声的情况下，学习率的降低可能相当剧烈，我们需要确保参数能够适当地收敛。同动量法一样，AdaGrad算法需要对每个自变量维护同它一样形状的状态变量。我们可以直接使用深度学习框架中提供的AdaGrad算法来训练模型。
adagrad
qq_43263543的博客
11-13 1465
Adagrad是解决不同参数应该使用不同的更新速率的问题。Adagrad自适应地为各个参数分配不同学习率的算法。其公式如下： gradient比较大的时候，走的地方比较陡峭，希望步长小一点，避免走过，gradient比较小的时候，走的地方比较平缓，希望步长大一点。 ...
SGD、momentum、Adgrad、Adam
weixin_39731450的博客
12-12 503
SGD、momentum、Adgrad、Adam 1.SGD GD：使用所有的预测值来计算损失函数的导数 SGD：只使用当前值计算损失函数导数，用来规划下降的方向 2.momentum 参数更新时，不直接使用梯度负方向： 使用之前的梯度来规划当前的梯度： 3.Adagrad 加入了自适应学习率，来规划步长： 4.Adam 使用一阶动量来更新方向，二阶动量来更新步长： 参考链接：https://zhuanlan.zhihu.com/p/32230623 ...
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值