深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程。Google一下就可以看到很多的教程文章,详细告诉你这些算法是如何一步一步演变而来的。在这里,我们换一个思路,用一个框架来梳理所有的优化算法,做一个更加高屋建瓴的对比。
具体请看:
https://zhuanlan.zhihu.com/p/32230623
优化算法简介 SGD/Momentum/AdaGrad/Adam
最新推荐文章于 2024-07-31 14:47:45 发布