“随机梯度下降、牛顿法、动量法、Nesterov、AdaGrad、RMSprop、Adam”

最新推荐文章于 2023-10-08 18:56:00 发布
最新推荐文章于 2023-10-08 18:56:00 发布
阅读量884 收藏 5
点赞数
分类专栏： 机器学习与人工神经网络 文章标签： 深度学习 神经网络 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44623752/article/details/120142958
版权

“随机梯度下降、牛顿法、动量法、Nesterov、AdaGrad、RMSprop、Adam”

随机梯度下降法

怎么减小每次计算的参数量？
梯度下降法性价比低。
mini-batch等价于随机梯度下降法。
在这里插入图片描述
步长越大和理想下降路径偏离越大。

牛顿法

在这里插入图片描述
在这里插入图片描述
实用性较差

动量法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
指数加权移动平均法
在这里插入图片描述
动量法：把历史的数据也考虑进来，对参数的修改进行一些修正。

Nesterov

动量法：梯度和冲量共同决定下降方向。
在这里插入图片描述
怎么做到超前？
Nesterov：不止利用历史数据，还要向前超前一步，然后再修正下降方向。

学习率应该慢慢减小的。

最简单的方法，每迭代一步，学习率减少一个固定的数值。
当然这种方法并不好用。

AdaGrad

在这里插入图片描述
在学习率下面除以一个数值，这个数值是历史上所有的梯度数据的平方再开方。
在这里插入图片描述
适用于稀疏数据，更容易出现震荡，adagrad能够很好的解决这种情况。

RMSprop

在adagrad的基础上，采用指数加权移动平均法，强调了近的历史数据的影响，忽略了远的历史数据的影响，这样下降时该快的时候就快，该慢的时候就慢。
在这里插入图片描述

Adam

RMSprop和动量法的结合
在这里插入图片描述

Nadam

AdaGrad 和Nesterov结合

class zl=new ZhanL
关注
专栏目录
如何使用Nesterov加速梯度下降实现高效深度学习模型
程序员光剑
07-19 4147
作者：禅与计算机程序设计艺术 深度学习（Deep Learning）是一个基于神经网络的机器学习方法，它可以用来解决复杂的分类任务、回归问题等多种问题。而近年来随着深度学习的火爆，越来越多的人在研究如何更好地训练深度学习模型。其中一种较为有效的方法就是采用Nesterov加速梯度下降（NAG）算法。本文将会详细阐述其原理、算法及其具体应用
[nlp] 常见的梯度下降Optimizer（SGD,BGD,（Nesterov）MOMENTUM,Adagrad，RMSProp,Adam,Adadelta）
心宝的博客
12-06 560
参考：https://alphafan.github.io/posts/grad_desc.html What is Gradient Desecnt ? Accelerate Gradient Desecnt 加速模式： Stochastic Gradient Descent (SGD) Momentum AdaGrad RMSProp Adam Stochastic Gradien...
深度学习——优化算法细谈（梯度下降/随机梯度下降/小批量梯度下降/动量法/Adagrad/RMSprop/Adadealt/Adam）及时实现
PRINCE2327的博客
07-04 2765
本文
Nesterov牛顿动量法
胭脂草的ABC博客
11-24 1268
先上结论： 1.Nesterov是Momentum的变种。 2.与Momentum唯一区别就是，计算梯度的不同，Nesterov先用当前的速度v更新一遍参数，在用更新的临时参数计算梯度。 3.相当于添加了矫正因子的Momentum。 4.在GD下，Nesterov将误差收敛从O（1/k），改进到O(1/k^2) 5.然而在SGD下，Nesterov并没有任何改进 具体算法如下所示： ...
Deep Learning 最优化方法之Nesterov(牛顿动量)
This is bill的专属博客
09-19 1417
本文是Deep Learning 之 最优化方法系列文章的Nesterov(牛顿动量)方法。主要参考Deep Learning 一书。 整个优化系列文章列表： Deep Learning 之 最优化方法 Deep Learning 最优化方法之SGD Deep Learning 最优化方法之Momentum（动量） Deep Learning 最优化方法之Nesterov(牛顿动量) ...
Nesterov Momentum牛顿动量法
zrh_CSDN的博客
07-30 2739
Nesterov Momentum 这是对之前的Momentum的一种改进,大概思路就是,先对参数进行估计,然后使用估计后的参数来计算误差 具体实现:  需要:学习速率 ϵ, 初始参数 θ, 初始速率v, 动量衰减参数α 每步迭代过程:  1. 从训练集中的随机抽取一批容量为m的样本{x1,…,xm},以及相关的输出yi 2. 计算梯度和误差,并更新速度v和参数θ:        注意在估...
机器学习笔记——梯度下降优化方案（
dzc_go的博客
10-31 1531
机器学习笔记——梯度下降优化方案一、梯度下降粒度优化1.1 Batch gradient descent1.2 Stochastic gradient descent1.3 Mini-batch gradient descent1.4 三种方法的代码分析二、梯度下降参数优化2.1 步长与梯度的关系2.2 AdaGrad 与 RMSProp2.4 AdaDelta2.5 Momentum 与 Nesterov Momentum2.6 Adam2.7 AdaBelief 一、梯度下降粒度优化 1.1 Batch
深度学习笔记之优化算法(四)Nesterov动量方法的简单认识
最新发布
静静的学习就好
10-08 2306
上一节对动量法进行了简单认识，本节将介绍Nesterov动量方法。
机器学习、深度学习中常用的优化算法详解——梯度下降法、牛顿法、共轭梯度法
小马日记
10-22 5640
一、梯度下降法 1、总述： 在机器学习中，基于基本的梯度下降法发展了三种梯度下降方法，分别为随机梯度下降法，批量梯度下降法以及小批量梯度下降法。 （1）批量梯度下降法（Batch Gradient Descent，BGD） BGD 得到的是一个全局最优解，但是批量梯度下降法在更新每一个参数时，都需要所有的训练样本，如果样本的数量很大，那么可想而知这种方法的迭代速度会相当的慢。从迭代的次数上来看，B...
十一、改变神经网络的学习方法（5）：随机梯度下降的变化形式(Adagrad、RMSProp、Adadelta、Momentum、NAG)
dugudaibo的博客
08-19 5081
本文主要介绍随机梯度下降以及他的他的各种变化形式。首先回顾随机梯度下降方法，并指出它具有学习率固定，只能利用一阶导数信息的缺点，针对学习率固定的缺点，首先采用Adagrad首先学习率的自我调节，但是这种方法后期学习速度过慢，进而进入RMSProp和Adadelta两种方法。从利用导数的方面，介绍了牛顿法，Momentum和NAG，最后介绍结合RMSProp和Momentum的Adam。并对上述的所有方法进行一个总结。
优化器++++++
小猪猪爱吃饭的博客
10-04 399
文章目录一、梯度下降法（GD，Gradient Descent）原理缺点优化点二、缩小计算量1.随机梯度下降（SGD）原理证明：2.小批量梯度下降法（MBGD）三、优化梯度下降过程1.牛顿法理解缺点：2.动量法（也叫冲量法），参考了历史数据如何实现？名字的由来3.Nesterov法（又名牛顿冲量法，与牛顿无关，参考未来数据）如何实现？4. AdaGrad（针对学习率的修正）如何实现缺点：5.RMSprop（使用指数加权考虑历史信息的重要性以修正adagrad）6.Adam（RMS+动量法） 一、梯度下降法（
Deep Learning 最优化方法之Momentum（动量）
热门推荐
BVL的博客
05-21 7万+
本文是Deep Learning 之 最优化方法系列文章的Momentum（动量）方法。主要参考Deep Learning 一书。先上结论： 1.动量方法主要是为了解决Hessian矩阵病态条件问题（直观上讲就是梯度高度敏感于参数空间的某些方向）的。 2.加速学习 3.一般将参数设为0.5,0.9，或者0.99，分别表示最大速度2倍，10倍，100倍于SGD的算法。
牛顿法以及雅克比矩阵、海森矩阵（Hessian）数学方法。
Seven
04-09 8454
一般来说, 牛顿法主要应用在两个方面,          1, 求方程的根; 2, 最优化。 1，求方程的根 其原理便是使用泰勒展开，然后去线性部分，即：                 (1) 然后令上式等于0，则有：                                 (2) 经过不断迭代：          
各种神经网络优化算法：从梯度下降到Adam方法
一点码客
08-15 4万+
在调整模型更新权重和偏差参数的方式时，你是否考虑过哪种优化算法能使模型产生更好且更快的效果？应该用梯度下降，随机梯度下降，还是Adam方法？ 这篇文章介绍了不同优化算法之间的主要区别，以及如何选择最佳的优化方法。 什么是优化算法？ 优化算法的功能，是通过改善训练方式，来最小化(或最大化)损失函数E(x)。 模型内部有些参数，是用来计算测试集中目标值Y的真实值和预测值的偏差程度的，基于这些参...
斯坦福cs231n学习笔记（11）------神经网络训练细节（梯度下降算法大总结/SGD/Momentum/AdaGrad/RMSProp/Adam/牛顿法）
huplion的专栏
01-28 2万+
神经网络训练细节系列笔记： 神经网络训练细节（激活函数） 神经网络训练细节（数据预处理、权重初始化） 神经网络训练细节（Batch Normalization） 神经网络训练细节（训练过程，超参数优化） 通过学习，我们知道，因为训练神经网络有个过程: Sample 获得一批数据； Forward 通过计算图前向传播，获得loss； Backprop 反向传播计算梯度，这个梯度能告诉我
《统计学习方法》 梯度下降的两种应用场景
weixin_30662109的博客
05-14 470
这几天在看《统计学习方法》这本书，发现 梯度下降法在 感知机 等机器学习算法中有很重要的应用，所以就特别查了些资料。　　 一.介绍 梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。 二.应用场景 ...
[深度学习] 超参数设定和网络训练
四月晴
05-12 2万+
超参数设定和网络训练 介绍一些重要的网络设计过程中的超参数设定技巧和训练技巧，如学习率，批规范化操作和网络优化化策略的选择。 网络超参数的设定 网络超参数设定在搭建整个网络架构之前，需首先指定与网络结构相关的各项超参数：输入图像像素，卷积层个数，卷积核相关参数。 输入数据像素大小 使用卷积神经网络处理图像问题时，对不同输入图像为得到同规格输出，同时便于GPU运行，会将图像压缩到22222...
最优化理论之牛顿法
LINC
09-22 1859
1、泰勒展开式 泰勒展开式是用多项式来近似表示函数在某点周围的情况。 对于一个函数在x=a处的展开式，这个展开式在x=a附近对函数的逼近是最精确的，离a越远，这个公式就越不精确。实际函数值和多项式的偏差称为泰勒公式的余项。 2、方向导数和偏导数 方向导数（directional derivative）的通俗解释是：我们不仅要知道函数在坐标轴方向上的变化率（即偏导数），而且还
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值