adam算法效果差原因_信电学院本科生提出AI新算法：速度比肩Adam，性能媲美SGD，ICLR领域主席赞不绝口...

最新推荐文章于 2024-04-29 11:18:46 发布
最新推荐文章于 2024-04-29 11:18:46 发布
阅读量165 收藏
点赞数
文章标签： adam算法效果差原因
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39747595/article/details/112186512
版权
浙江大学和北京大学的两位本科生实习生开发了一种名为AdaBound的神经网络优化算法，该算法在ICLR 2019会议上被收录并受到好评。AdaBound在训练初期具有Adam的高速度，后期则展现出SGD的稳定性，适用于CV和NLP任务，且对超参数不敏感，减少了调参时间。论文中展示了AdaBound在不同模型上的实验结果，证明其优于SGD的训练速度和泛化能力。
摘要由CSDN通过智能技术生成
晓查 乾明 发自 凹非寺 
量子位 报道 | 转自公众号 QbitAI

两位学霸本科生，一位来自浙大，一位来自北大。

他们在实习期间，研究出一种新的AI算法，相关论文已经被人工智能顶级会议ICLR 2019收录，并被领域主席赞不绝口，完全确定建议接收。

在这篇论文中，他们公布了一个名为AdaBound的神经网络优化算法，简单地说，这个算法训练速度比肩Adam，性能媲美SGD。

73efca9b48986916df2057ed316b5780.png

这个算法适用于CV、NLP领域，可以用来开发解决各种流行任务的深度学习模型。而且AdaBound对超参数不是很敏感，省去了大量调参的时间。

两位本科生作为共同一作的这篇论文，也在Reddit上引发了热赞，作者本人也在这个论坛上展开了在线的答疑交流。

AdaBound已经开源，还放出了Demo。

AdaBound是什么

AdaBound结合了SGD和Adam两种算法，在训练开始阶段，它能像Adam一样快速，在后期又能像SGD一样有很好的收敛性。

SGD(随机梯度下降)算法历史悠久，它是让参数像小球滚下山坡一样

最低0.47元/天 解锁文章
weixin_39747595
关注
adam算法效果差原因_Adam 究竟还有什么问题 —— 深度学习优化算法概览(二)
weixin_39712016的博客
12-19 1031
勘误: 关于 outlier 部分的讨论，将 AMSGrad 误写为 SGD，现已更正。年初，自己还是个不太上道的菜鸟时，写了一篇 从 SGD 到 Adam —— 深度学习优化算法概览(一)，简单梳理了在深度学习发展历程中最为常用的几类优化算法。我们知道，Adam 是其中综合性能出色的一种算法，自适应学习率的引入使得损失函数可以快速收敛。然而，实践证明，虽然在训练早期 Adam 拥有出色的收敛速度...
adam算法效果差原因_深度学习优化器-Adam两宗罪
weixin_39536728的博客
12-19 2166
在上篇文章中，我们用一个框架来回顾了主流的深度学习优化算法。可以看到，一代又一代的研究者们为了我们能炼(xun)好(hao)金(mo)丹(xing)可谓是煞费苦心。从理论上看，一代更比一代完善，Adam/Nadam已经登峰造极了，为什么大家还是不忘初心SGD呢？举个栗子。很多年以前，摄影离普罗大众非常遥远。十年前，傻瓜相机开始风靡，游客几乎人手一个。智能手机出现以后，摄影更是走进千家万户，手机随手...
中国学霸本科生提出AI新算法：速度比肩Adam，性能媲美SGD，ICLR领域主席赞不绝口...
量子位
02-27 763
晓查 乾明 发自 凹非寺量子位 报道 | 公众号 QbitAI两位学霸本科生，一位来自北大，一位来自浙大。他们在实习期间，研究出一种新的AI算法，相关论文已经被人工智能...
SGD和Adam
bl128ve900的博客
07-10 9187
按吴恩达老师所说的，梯度下降（Gradient Descent）就好比一个人想从高山上奔跑到山谷最低点，用最快的方式（steepest）奔向最低的位置（minimum）。 SGD基本公式 动量(Momentum) 参考链接：https://distill.pub/2017/momentum/ 基本的mini-batch SGD优化算法在深度学习取得很多不错的成...
adam优化_Adam作者大革新， 联合Hinton等人推出全新优化方法Lookahead
weixin_39737111的博客
11-02 160
快来试试 Lookahead 最优化方法啊，调参少、收敛好、速度还快，大牛用了都说好。机器之心报道，参与：思源、路、泽南。最优化方法一直主导着模型的学习过程，没有最优化器模型也就没了灵魂。好的最优化方法一直是 ML 社区在积极探索的，它几乎对任何机器学习任务都会有极大的帮助。从最开始的批量梯度下降，到后来的随机梯度下降，然后到 Adam 等一大帮基于适应性学习率的方法，最优化器已经走过了很多年。尽...
4种梯度下降的变种优化算法的拙见：Adagrad、RMSprop、Momentum、Adam
weixin_44441131的博客
02-14 3552
一、算法简述 Momentum（动量法）：模拟物理动量的概念，积累之前的动量来替代真正的梯度 Adagrad（Adaptive Gradient）：每个参数反比于历史梯度平方总和的平方根 RMSprop（Root Mean Squared propagation）：AdaGrad的升级（将梯度积累替换为Running Average） Adam（Adaptive Moment Estimati...
Matlab代码，里面包括五种常见神经网络优化算法的对比 包括SGD、SGDM、Adagrad、AdaDelta、Adam
03-02
SGD、SGDM、Adagrad、AdaDelta 和 Adam 的简介： SGD（Stochastic Gradient Descent，随机梯度下降）是神经网络中最基本的优化算法之一。它通过随机选择一小部分样本进行训练，并基于这些样本的梯度来更新模型参数...
一个框架看懂优化算法之异同 SGD_AdaGrad_Adam - 知乎1
08-04
在机器学习领域，优化算法是模型训练的关键环节，它们决定了模型参数如何逐步调整以达到最佳性能。本篇文章将从一个通用的框架出发，探讨不同优化算法的异同，包括SGD（随机梯度下降）、SGD with Momentum、Nesterov...
收藏 _ 深度学习优化算法：从SGD到AdamW原理和代码解读1
08-04
本文将探讨一系列从简单到复杂的优化算法，包括SGD（随机梯度下降）、SGD with Momentum（动量SGD）、Nesterov Accelerated Gradient（NAG）以及基于二阶矩估计的算法如AdaGrad、AdaDelta、Adam和AdamW。 **1. SGD...
Adam等机器学习深度学习主流优化算法简析
caizd2009的博客
08-05 1069
什么是优化算法？ 简单来说就是一种通过迭代逼近最优解的方法，即最优解的渐近估计方法。 深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程，目前Adam应该是最常用的优化算法。 为什么需要优化算法？ 1.有的问题并没有解析解，只能迭代求得近似解 2.问...
深度学习，各类优化器优缺点总结。
08-09
深度学习，各类优化器优缺点总结,包括：标准梯度下降法，随机梯度下降法，批量梯度下降法等11种方法。。。
Adam算法
cuisidong1997的博客
11-13 362
指数加权平均的优势：」 指数加权平均的求解过程实际上是一个递推的过程，那么这样就会有一个非常大的好处，每当我要求从0到某一时刻n的平均值的时候，并不需要像普通求解平均值那样保留所有的时刻值，类和然后除以n。在2.1节中提到的例子，使用动量法后，在x轴方向上(向右)每一步的梯度方向都大致相同（向右）所以指数加权平均后也向右，而在y轴方向上，每一步梯度方向时上时下，方向不同，指数加权平均后总体的跳动幅度就会减小，这样的话，在x轴上更新加快，在y轴上震荡减缓，总体上迭代更新更快。轴方向）的斜率的绝对值更大。
为什么Adam 不是默认的优化算法?
deephub
08-25 3668
对于这种泛化差距的一种经验解释是，自适应梯度算法倾向于收敛到尖锐的极小值，其局部地区的曲率较大，所以泛化性能较差，而SGD则倾向于寻找平坦的极小值，因此泛化较好。由于训练时间短，越来越多人使用自适应梯度方法来训练他们的模型，例如Adam它已经成为许多深度学习框架的默认的优化算法。但是，本文这并不是否定自适应梯度方法在神经网络框架中的学习参数的贡献。上图来自cs231n，根据上面的描述Adam能迅速收敛到一个“尖锐的最小值”，而SGD计算时间长步数多，能够收敛到一个“平坦的最小值”，并且测试数据上表现良好。
各种优化器及其优缺点（SGD,RMSProp,Adam及其变种）
最新发布
samoyan的博客,记录技术成长~
04-29 3092
其中，θ_t是第t步的参数，α是学习率，∇f(θ_{t-1})是损失函数在第t-1步的梯度，r_t是第t步的平方梯度的移动平均值，β是衰减系数，ε是防止除0错误的小常数。其中，m_t和v_t分别是一阶矩和二阶矩的指数移动平均值，β1和β2是衰减系数，α是学习率，λ是权重衰减系数，ε是防止除0错误的小常数。其中，θ_t是第t步的参数，α是学习率，∇f(θ_{t-1})是损失函数在第t-1步的梯度，v_t是第t步的速度，γ是动量参数。动量优化的另一个缺点是可能会导致优化过程在某些方向上过快，从而跳过最优解。
优化方法总结以及Adam存在的问题(SGD, Momentum, AdaDelta, Adam, AdamW，LazyAdam)
热门推荐
糖葫芦君的博客
05-29 3万+
文章目录优化方法概述整体框架SGDMomentum理解指数加权平均偏差修正AdaGradAdaDelta/RMSPropAdam(Adaptive Moment Estimation)Adam+L2 regularizationL2 regularization与Weight decay学习率衰减局部最优 优化方法概述 模型优化方法的选择直接关系到最终模型的性能。有时候效果不好，未必是特征的问题或...
【深度学习】Adam与SGD优化器的选择
rocking_struggling的博客
02-13 2726
发现若监督优化器的算法很多都采用SGD，选择Adam反而效果不好，所以这里学习了两者的区别。
Adam那么棒，为什么还对SGD念念不忘 (2)
网瘾少年康复中心
03-29 1612
上篇文章中（ Adam 那么棒，为什么还对 SGD 念念不忘 (1) —— 一个框架看懂优化算法 ），我们用一个框架来回顾了主流的深度学习优化算法。可以看到，一代又一代的研究者们为了我们能炼（xun）好（hao）金（mo）丹（xing）可谓是煞费苦心。从理论上看，一代更比一代完善，Adam/Nadam已经登峰造极了，为什么大家还是不忘初心SGD呢？举个栗子。很多年以前，摄影离普罗大众非常遥远。十年...
【机器学习】优化器之Adam
奥古斯都
05-30 7281
上一个章节说了SGD和动量版本的SGD，这个优化算法目前也是比较常用的一个优化算法，但是它还是存在一些问题的，因此后面又出了几个不同的算法，比如AdaGrad、RMSProp、Adam等算法。
#深入探究# Adam和SGDM优化器的对比
lch551218的博客
06-07 1万+
1. Adma 和 MSGD Adam和MSGD作为当今最优秀的两种深度学习优化器，分别在效率和精度上有着各自的优势，下面我们将分析两种优化器各自优势的原因，两边的两张图分别是 几种常见的优化器在猫狗分类数据集上的分类准确率曲线，第一个是训练集，第二个是测试集 以下两张图是某个NLP任务中，几种模型的准确率和困惑度指标变换曲线 通过上边两幅图片可知： Adma在训练集上的准确率较高，MSGD在测试集上的准确率较高 Adma的速度更快，但MSGD能够得到好的效果 第一个结论可以用下边这个图来解释：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值