优化方法 Momentum，AdaGrad，RMSProp，Adam

最新推荐文章于 2024-04-24 12:21:06 发布
VIP文章 最新推荐文章于 2024-04-24 12:21:06 发布
阅读量842 收藏 2
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49717022/article/details/119774366
版权

一、 Momentum

如下图图 a 所示，当一个维度比另一个维度下降地明显更加急促时（经常是局部最优点），朴素 SGD 容易存在收敛极慢的问题。
在这里插入图片描述

momentum（动量）的引入可以直观地较好处理这个问题，其在计算当前时刻的更新向量vt 时，引入了上一次更新向量 vt-1，具体如下：
在这里插入图片描述
γ一般为0.9
在这里插入图片描述

二、Adagrad

注意是逐个元素应用，所以可以使每个参数的学习率不同
在这里插入图片描述
从上图可以看出，随着迭代的增加，我们的学习率是在逐渐变小的，这在“直观上”是正确的：

最低0.47元/天 解锁文章
仰望夏日
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
deep-learning:personal practice（个人练习，实现了深度学习中的一些算法，包括：四种初始化方法（zero initialize, random initialize, xavier initialize, he initialize），深度神经网络，正则化，dropout， 三种梯度下降方法(BGD, SGD, mini-batch)，六种优化算法(momentum、nesterov momentum、Adagrad、Adadelta、RMSprop、Adam)，梯度检验、ba
05-11
deep-learning personal practice 深度学习个人练习，该项目实现了深度学习中一些常用的算法，内容包括： 四种初始化方法：zero initialize, random initialize, xavier initialize, he initialize。 深度神经网络 正则化 dropout 三种梯度下降方法：BGD, SGD, mini-batch 六种优化算法：momentum、nesterov momentum、Adagrad、Adadelta、RMSprop、Adam 梯度检验 batch normalization recurrent neural network (RNN) Note: 下列 1-10中网络架构主要为四大块： initialize parameters、forward propagation、backward propagati
FactorizationMachines-LogisticRegression-Momentum-NAG-Adagrad-RMSProp-Adam-Adadelta:使用MomentumNAGAdagradRMSPropAdamAdadelta实现分解机和逻辑回归
05-17
逻辑回归 它是什么？ 这是一个逻辑回归工具，支持BGD / SGD / Mini-batch和常见的梯度下降优化算法，包括Momentum / NAG / Adagrad / RMSProp / Adam / Adadelta。 如何使用它？ 通过运行“ make”来编译项目，有两种使用方式： 选择LR模型的变体并对其进行调整。 开始运行。 ./bin/火车数据/ airbnb_train_dataset数据/ airbnb_test_dataset 选择一个模型并输入超级参数。 M ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++请输入[M]以创建新模型：++++++++++++++++++++++++++++++++++ +++++++++++++++++++++++++++++++
sgd、momentum、RMSprop、Adam优化器总结
johsnows的博客
12-24 1036
sgd:zh 之后的优化器主要针对 学习率μ进行改进。 momentum： 当一个维度比另一个维度下降地明显更加急促时（经常是局部最优点），朴素 SGD 容易存在收敛极慢的问题。 碰到鞍点。 3 Adagrad: Adagrad 为每个参数提供自适应的学习率，它可以为频率低的参数每次提供更大更新、为频率高的参数每次提供更小更新。正因为此，它十分适用于处理稀疏数据。 G是一个对角矩阵，是参数θ在截至时刻t...
深度学习--优化器
weixin_42764932的博客
12-17 296
深度学习-优化器基本框架非自适应学习率SGDMomentumNesterov自适应学习率AdagradAdadeltaAdamAdamaxNadam小结 这里是引用https://blog.csdn.net/u012759136/article/details/52302426/?ops_request_misc=&request_id=&biz_id=102&utm_term=sgd%2520adam&utm_medium=distribute.pc_search_res
RMSProp/Momentum/Adam/AdamW，多种优化器详解及伪代码实现
谁谓荼苦，其甘如荠
07-09 5047
多种梯度更新方法——都是对Gradient Descent的优化 传统GD x = x - lr * grad_x AdaGrad——不同方向的梯度应该是可以不一样的 为了解决不同方向上梯度涨落速度不一致的情况，所以相当于给每个方向不同的learning_rate。 具体每个方向的lr大小要怎么拟定？——之前该方向上grad大的，就给小lr——即梯度变化幅度缓慢，那么就拉开步子大胆走。如上图的公式，历史grad总量和lr大小成反比，即该方向的总grad越小，则lr就越大。 但该方法解决不了，在该方向上
【深度学习】深度学习实验二——前馈神经网络解决上述回归、二分类、多分类、激活函数、优化器、正则化、dropout、早停机制
yuzhangfeng的博客
10-10 1771
手动实现前馈神经网络解决上述回归、二分类、多分类问题分析实验结果并绘制训练集和测试集的loss曲线。原理介绍：回归问题使用的损失函数为平方损失函数，二分类问题使用的损失函数为nn.BCEloss函数，多分类问题使用的损失函数为交叉熵损失函数nn.CrossEntropyLoss。
优化器(Optimizer)（SGD、Momentum、AdaGrad、RMSProp、Adam）
热门推荐
tcn760的博客
04-05 5万+
文章目录3.1、传统梯度优化的不足(BGD,SGD,MBGD)3.1.1 一维梯度下降3.1.2 多维梯度下降3.2、动量(Momentum)3.3、AdaGrad算法3.4、RMSProp算法3.5、Adam算法 优化器在机器学习、深度学习中往往起着举足轻重的作用，同一个模型，因选择不同的优化器，性能有可能相差很大，甚至导致一些模型无法训练。所以了解各种优化器的基本原理非常重要。下面介绍各种常用优化器或算法的主要原理，及各自的优点或不足。 3.1、传统梯度优化的不足(BGD,SGD,MBGD) BGD、S
adam优化_机器学习中的优化算法(2)-Momentum, RMSProp, AdaM(附Python示例)
weixin_39522408的博客
11-27 336
本系列文章发表在 机器学习的优化器​zhuanlan.zhihu.com系列第一篇文章[1]介绍了这系列文章的思路,罗列了重要的数学记号,并讲了标准梯度下降法(GD, Gradient Descent)和Momentum机制.今天我们换个角度来解释Momentum,然后介绍RMSProp(Root Mean Square Propagation)和AdaM(Adaptive Moment Algo...
优化深层网络2--mini batch、momentum、RMSprop、Adam
weixin_43606419的博客
02-03 327
*目录 1.mini-batch 2.指数加权平均 3.momentum 4.RMSprop 5.Adam 6.学习率衰减 1.mini-batch batch gradient descent: 把整个数据集当成一个批次，参数在遍历整个数据集后更新，每一次迭代的时间太长。 mini-batch gradient descent： 把数据集分成若干个批次，参数在遍历一个批次数据后更新，把整个数据...
深度学习笔记（十）：SGD、Momentum、RMSprop、Adam优化算法解析
不积跬步，无以至千里！
07-28 4397
深度学习优化算法总结！
caffe中优化方法比较
12-27
SGD、Momentum、Nesterov、Adagrad、Adadelta、RMSprop、Adam、Adamax和Nadam优缺点比较
深度学习常用优化方法详解
04-06
常见的深度学习优化方法包括以下几种: 1. 随机梯度下降(SGD): SGD是最基础的优化方法,每次迭代使用一个小批量样本计算梯度,并沿着梯度负方向更新参数。相比全批量梯度下降,SGD可以更快地收敛,特别适合处理大规模...
keras优化器详解
10-05
基于梯度的优化方法 1 0. 梯度下降 2 1. 批量梯度下降Batch gradient descent(BGD) 3 2. 随机梯度下降 Stochastic gradient descent(SGD) 4 3. 小批量梯度下降 Mini-batch gradient descent(MBGD) 5 4. Momentum...
深度学习基础：循环神经网络中的Dropout
最新发布
weixin_39753819的博客
04-24 275
Dropout是一种用于深度学习模型的正则化技术，旨在减少模型的过拟合。它的基本思想是在训练过程中，随机地将一部分神经元的输出置为零，从而减少神经元之间的相互依赖关系，降低模型对特定神经元的依赖性，提高模型的泛化能力。本文介绍了Dropout在深度学习中的基本概念和原理，以及在循环神经网络中如何使用Dropout来解决过拟合问题。通过一个简单的Python示例，我们演示了如何在PyTorch中实现带有Dropout的循环神经网络，并观察了训练过程中的损失变化。
深度学习使用Accelerate库
m0_52474839的博客
04-16 350
使用accelerate库
【机器学习300问】75、如何理解深度学习中Dropout正则化技术？
qq_39780701的博客
04-18 944
Dropout正则化的原理是什么？如何具体实现Dropout？为什么Dropout会起作用？它是怎么解决过拟合的？
深度学习-优化策略
qq_62737318的博客
04-21 321
3.动量法momentum，优点：加上了原始动量（梯度累积）且对于变量给了参数，给了一种惯性，使得其在正确的方向上，下降更快，而且容易跳出局部最小点。缺点：无法调整学习率，容易发生震荡，收敛慢，容易出现在鞍点上，处于局部最大值。优点：可以自适应的调整学习率，不同量级的参数能更好的收敛（使得梯度大的学习率变小，使得梯度乘以学习率后为一个可以接受的值，能够减少震荡）。优点：给累计梯度增加了参数，学习率进一步优化，给累计梯度和和当前梯度增加参数，计算公式不变。更新的时候用的不再是梯度，而是参数的动量值。
循环神经网络
数字人生
04-22 1106
通过5个条件判定一件事情是否会发生，5个条件对这件事情是否发生的影响力不同，计算每个条件对这件事情发生的影响力多大，写一个循环神经网络模型pytorch程序,最后打印5个条件分别的影响力。
文献速递：深度学习胶质瘤诊断---使用深度学习在 MRI 图像中进行低级别胶质瘤的脑肿瘤分割和分级
weixin_38594676的博客
04-18 794
此外，鉴于分割的 Dice 相似系数（DSC）平均值为 0.84，肿瘤检测准确率为 0.92，以及图像和患者层面上的肿瘤分级准确率分别为 0.89 和 0.95，所提出的方法显示了作为一种非侵入性工具用于 LGG 肿瘤特征化的前景。图 4. 展示来自测试数据集的样本，其中FLAIR图像的热图突出显示了肿瘤区域，以及FLAIR图像与肿瘤掩模轮廓的叠加图（红色 - 手工分割，绿色 - 模型分割）对应于DSC值（A）和（B）低于、（C）和（D）接近以及（E）和（F）高于模型DSC平均值（0.84）。
深度学习中优化方法——momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam
05-17
深度学习中的优化方法是指在训练神经网络时，通过更新模型参数来最小化损失函数的过程中所采用的算法。常用的优化方法包括：momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam等。 1. Momentum Momentum是一种基于梯度下降的优化方法，它通过引入动量来加速收敛。在更新模型参数时，不仅考虑当前的梯度，还考虑之前的梯度对更新方向的影响，通过累积之前的梯度，使得更新方向更加稳定，加速收敛。 2. Nesterov Momentum Nesterov Momentum是Momentum的一种变体，它在更新模型参数之前，先向前“看一步”，计算模型参数在当前动量下的移动方向，然后再计算当前位置的梯度，最后根据这两个信息来更新模型参数。相比于Momentum，Nesterov Momentum能够更快地收敛。 3. AdaGrad AdaGrad是一种自适应学习率的优化方法，它通过动态地调整学习率来适应不同参数的更新需求。具体地说，它将学习率分别应用于每个参数的更新量上，使得每个参数的学习率随着训练的进行不断减小，从而减少参数更新的震荡。 4. Adadelta Adadelta也是一种自适应学习率的优化方法，它和AdaGrad不同之处在于，它不仅考虑了过去的梯度信息，还考虑了过去的参数更新信息。具体地说，它通过维护一个累积梯度平方的指数衰减平均值和一个累积参数更新平方的指数衰减平均值，来动态调整学习率和更新量，使得参数更新更加平稳。 5. RMSprop RMSprop也是一种自适应学习率的优化方法，它和Adadelta类似，但只考虑了过去的梯度信息，没有考虑过去的参数更新信息。具体地说，它通过维护一个梯度平方的指数衰减平均值来动态调整学习率，使得参数更新更加平稳。 6. Adam Adam是一种结合了Momentum和RMSprop的优化方法，它不仅考虑了梯度的一阶矩和二阶矩信息，还引入了偏置修正，使得参数更新更加准确。相比于其他优化方法，Adam不仅收敛速度快，还具有较好的性能表现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值