超级会员免费看
本文探讨了RAdam和LookAhead优化器的互补性，并介绍了一个结合两者优势的新型优化器——Ranger。RAdam通过动态整流解决预热问题，而LookAhead通过快慢权重的内插提高探索效率和稳定性。Ranger优化器在训练初期由RAdam提供稳定基础，随后利用LookAhead的探索机制，实现了快速且稳定的模型收敛，已在多个深度学习任务中展示出优秀性能。
参考：https://www.leiphone.com/news/201908/SAFF4ESD8CCXaCxM.html
代码地址：
我训练的yolov3，开始两个epoch都不收敛
optimizer = Ranger(params, weight_decay=config["optimizer"]["weight_decay"])
https://github.com/lessw2020/Ranger-Deep-Learning-Optimizer
Geoffrey Hinton 和他的团队发表了一篇关于深度神经网络优化器的论文，介绍了一种新的优化器「LookAhead」 （《LookAhead optimizer: k steps forward, 1 step back》，https://arxiv.org/abs/1907.08610）。LookAhead 的设计得益于对神经网络损失空间理解的最新进展，提供了一种全新的稳定深度神经网络训练、稳定收敛速度的方法
订阅专栏 解锁全文
扫一扫
387
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
