超级会员免费看
本文介绍了2017年深度学习优化算法的进展，重点探讨了如何改进随机梯度下降（SGD）和Adam方法。文章提到了AMSGrad、SGDR（余弦退火）等策略，以及调整学习率和权值衰减对模型性能的影响。同时，文章指出自适应学习率方法可能不如传统SGD在某些任务中的表现，并提出了解耦权值衰减的概念。此外，文中还讨论了学习率退火方案的重要性和快照集成技术。
2017年深度学习优化算法最新进展：如何改进SGD和Adam方法
转载的文章，把个人觉得比较好的摘录了一下
AMSGrad 这个前期比sgd快，不能收敛到最优。
sgdr 余弦退火的方案比较好
最近的一些研究（Dozat and Manning, 2017[13]、Laine and Aila, 2017[16]）通过实验发现，调低β2值，影响了Adam方法中过去平方梯度的指数移动平均值的贡献度。一般来说，β2的默认值为0.999，设置为0.99或0.9后，在不同任务中表现更好，这表明可能存在指数移动平均值的问题。
关于这个，在yolov3的环境里，我试了一下，没有发现更好
Zhang在2017年的一个研究表明[2]，在调整学习率退火方案和动量参数后，该SGD方法的性能与Adam有得一拼，而且收敛速度更快。另一方面，我们可能认为Adam方法中学习率的自适应性可能模仿了学习速率退火，但是一个明确的退火方案仍然是有帮助的。因为，如果我们把SGD方法中的学习率退
订阅专栏 解锁全文
扫一扫
4808
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
