梯度下降方法Adam: RMSProp + Momentum、以及warm up方法

已于 2023-01-03 22:50:46 修改
阅读量812 收藏
点赞数
分类专栏： Notebook 李宏毅机器学习 文章标签： python 算法 人工智能
于 2022-10-17 23:49:00 首次发布
原文链接：https://www.bilibili.com/video/BV1JA411c7VT?p=7
版权
本文探讨了深度学习中的关键概念，如critical point和saddle point，如何影响梯度行为。介绍了如何通过Adagrad和Adam方法避免二次微分成本，以及学习率更新策略，包括warmup的概念。特别提到了梯度爆炸问题及其解决方案。视频资源提供详细解释和实操演示。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述
当到达critical point或者saddle point，loss不再下降时，gradient应该为0，但不为0

在这里插入图片描述
到达critical point或者saddle point很难

在这里插入图片描述
更新learning rate的一种方法：
在这里插入图片描述
更新learning rate
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

视频：
https://www.bilibili.com/video/BV1Ht411g7Ef?p=6

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
最好的step=（一次微分）/（二次微分），但因为求二次微分代价比较大，所以会有例如adagrad这样的梯度下降方法避免求二次微分

另一种方法：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
梯度下降的方法——Adam
在这里插入图片描述
在这里插入图片描述
在垂直方向上gradient很小，垂直方向上step近似等于0，累积一段时间后，很小的σ被除，产生梯度爆炸

在这里插入图片描述
在这里插入图片描述
为什么要用warm up？
因为刚开始不知道用多大比较好，所以需要从小的learning rate学起
在这里插入图片描述

总结：在这里插入图片描述

视频：
https://www.bilibili.com/video/BV1JA411c7VT?p=7

PyTorch学习之6种优化方法介绍

《Python星球日记》 第41天：梯度下降与优化初步
Code_流苏：在代码中寻诗意
05-07 146
《Python星球日记》 第41天：梯度下降与优化初步，今天我们将探索机器学习和深度学习的核心基础——梯度下降算法及其优化技术。如果你曾经好奇机器如何"学习"，或者模型如何从大量数据中找到最优解，那么今天的内容将为你揭开这个神秘的面纱。
手把手教你调TensorFlow优化器参数：SGD、Adam、RMSprop原理与实战全解
最新发布
理论都是虚的，代码才是王道。
04-15 794
SGD：基础但有效，配合动量能提升效果，适合需要精细调参的场景Adam：默认首选，自适应学习率效果好，但可能错过全局最优RMSprop：RNN任务效果突出，对稀疏数据友好参数调优黄金法则先用Adam快速出baseline追求极致精度时换SGD+动量序列数据优先尝试RMSprop学习率从默认值开始，观察loss曲线调整希望这篇实战指南，能帮你彻底搞懂TensorFlow优化器的使用技巧。
一个损失函数和BertAdam warmup策略
冬炫的博客
08-15 634
来自https://www.cnblogs.com/hansjorn/p/14314400.html
垃圾分类、EfficientNet模型B0~B7、Rectified Adam(RAdam)、Warmup、带有Warmup的余弦退火学习率衰减
あずにゃん梓喵的博客
08-04 7436
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） EfficientNet中的每个模型要求的输入形状大小 每个网络要求的输入形状大小： EfficientNetB0 - (224, 224, 3) EfficientNetB1 - (240, 240, 3) EfficientNetB2...
深度学习面试题03：改进版梯度下降法Adagrad、RMSprop、Momentum、Adam
weixin_30323961的博客
07-03 350
目录 　　Adagrad法 　　RMSprop法 　　Momentum法 　　Adam法 　　参考资料 发展历史 标准梯度下降法的缺陷 如果学习率选的不恰当会出现以上情况 因此有一些自动调学习率的方法。一般来说，随着迭代次数的增加，学习率应该越来越小，因为迭代次数增加后，得到的解应该比较靠近最优解，所以要缩小步长η，那么有什么公式吗？比如：，但是这样做后，...
机器学习学习笔记（二）之梯度下降
qq_46006468的博客
07-13 512
梯度（向量）计算： Learning rate太小的话，训练速度会很慢，太大可能会的不到正确的结果；（可以作参数参数迭代次数—Loss的函数）； 自动调节的learning rate的方法： https://blog.csdn.net/u013385018/article/details/92377371（几种方法比较） Vanilla（一般的方法）： Adagrad：（除以了过去所有的梯度值的平...
pytorch学习之：使用 warm up 方法构造优化调度器优化神经网络参数
qq_42902997的博客
01-13 820
【代码】pytorch学习之：使用 warm up 方法构造优化调度器优化神经网络参数。
【梯度下降的高级话题】自适应学习率算法（如Adagrad, RMSprop, Adam）：探讨学习率自适应调整的技术。
[【梯度下降的高级话题】自适应学习率算法（如Adagrad, RMSprop, Adam）：探讨学习率自适应调整的技术。]...
【深度学习优化算法】：从梯度下降到Adam算法的演变与应用
[【深度学习优化算法】：从梯度下降到Adam算法的演变与应用](https://ask.qcloudimg.com/http-save/yehe-8893445/9abdee21c56295e417b899f3bbc38c55.png) # 1. 深度学习中的优化问题概述 ## 优化问题在深度学习中的...
深度学习框架tensorflow学习与应用6（优化器SGD、ADAM、Adadelta、Momentum、RMSProp比较）
qq_37791134的博客
12-02 9099
看到一个图片，就是那个表情包，大家都知道： Adadelta 》 NAG 》 Momentum》Remsprop 》Adagrad 》SGD 但是我觉得看情况而定，比如有http://blog.51cto.com/12568470/1898367常见优化算法 (tensorflow对应参数)就认为实际工作上实践中觉得是ADAM ，但是谁说的准呢是吧，每个工程师的场景不一样，得到的实践的经...
干货！一种使用1-bit通信的Adam优化器
AITIME_HY的博客
01-21 1080
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！在Micorsoft DeepSpeed包的发布中，出现了1-bit Adam算法的嵌入，该产品可实现的功能如下：(1) 实现了高...
warmup
qq_41071646的博客
01-10 1万+
这个  其实 算是 入门题  在上面可以看到 打印出来了很多东西   然后  发现他会 把我们这个地址打印出来 那么我们只要把返回地址 补充上就好了   这里耗费了 我不少功夫 然后我们输入 动态调试一下  看看哪里  是返回值  发现 插了 8*9  72个字符 那么 就很好办了 构造就完事了 # -*- coding:utf-8 -*- from pwn impo...
神经网络调参技巧：warmup策略
炼丹笔记
03-12 3211
有一些论文对warmup进行了讨论，使用 SGD 训练神经网络时，在初始使用较大学习率而后期改为较小学习率在各种任务场景下都是一种广为使用的做法，在实践中效果好且最近也有若干文章尝试对其进行了理论解释。例如《On Layer Normalization in the Transformer Architecture》等，论文中作者发现Post-LN Transformer在训练的初始阶段，输出层附...
adam优化_立即尝鲜！碾压Adam，最好的AI优化器RAdam来了
weixin_39684495的博客
11-27 501
今日宜：放弃旧爱Adam，拥抱新欢RAdam。最近的一篇新论文介绍了RAdam，或称“Rectified Adam”。它是经典Adam优化器的一种新变体，它基于对训练期间方差和动量的影响的详细研究，为自适应学习率提供自动、动态的调整。它有望为几乎所有AI应用提供更好的收敛，更好的训练稳定性（对选择的学习率不那么敏感）以及准确性和泛化性。与 Adam相比，可立即提高AI准确度：RAdam对不同的学习...
adam优化_不是我们喜新厌旧，而是RAdam确实是好用，新的State of the Art优化器RAdam...
weixin_39811842的博客
11-27 335
编辑：zero关注 搜罗最好玩的计算机视觉论文和应用，AI算法与图像处理 微信公众号，获得第一手计算机视觉相关信息本文转载自：公众号：AI公园作者：Less Wright编译：ronghuaiyang导读新的state of the art优化器：Rectified Adam（RAdam），相比adam，可以稳定提高准确率，关键是，真的有用。Liu, Jian, He等人的一篇新论文介绍了RAda...
Adam梯度下降法
jkchen's Haven
12-09 3465
Adam梯度下降法 结合了momentum梯度下降法和RMSprop梯度下降法的方法，更加的适用于大多数的情况。 过程 Vdw:=β1Vdw+(1−β1)dwVdb:=β1Vdb+(1−β1)db  Sdw:=β2Sdw+(1−β2)dw2Sdb:=β2Sdb+(1−β2)db2  Vdw:=Vdw/(1−β1t)Vdb:=Vdb/(1−β1t)Sdw:=Sdw/(1−β2t)Sdb:=Sdb/(...
深度学习中那些常用的优化方法:从SGD到Adam
要相信光
07-21 2205
文章目录参考资料SGD with Momentum(SGDM)AdagradRMSPropAdamSGDM vs AdamTowards Improving AdamAMSGradAdaBoundToward Improving SGDMCyclical LRSGDROne-cycle LRAdam Need Warm-upRAdamLookaheadNesterov accelerated gradient(NAG)NadamL2 regurization or Weight decay?Somethin
yolov5超参数解释（hyp.scratch-low.yaml）
热门推荐
weixin_44902604的博客
05-09 1万+
在模型训练中，超参数的调整是必不可少的。有时候看到结果，分析之后发现是过拟合，这时候就需要对自己的模型超参数进行调整，以达到最优效果等等。这里对yolov5中的文件超参数进行调整。关于的超参数写完了，我觉得在模型训练中，适当的调整这些超参数还是很有用的。
#深入探究# Adam和SGDM优化器的对比
lch551218的博客
06-07 1万+
1. Adma 和 MSGD Adam和MSGD作为当今最优秀的两种深度学习优化器，分别在效率和精度上有着各自的优势，下面我们将分析两种优化器各自优势的原因，两边的两张图分别是 几种常见的优化器在猫狗分类数据集上的分类准确率曲线，第一个是训练集，第二个是测试集 以下两张图是某个NLP任务中，几种模型的准确率和困惑度指标变换曲线 通过上边两幅图片可知： Adma在训练集上的准确率较高，MSGD在测试集上的准确率较高 Adma的速度更快，但MSGD能够得到好的效果 第一个结论可以用下边这个图来解释：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值