超级会员免费看
本文对比了Pytorch中常见的优化算法，如Adam、SGD+Momentum等，并提供了优化算法的效果对比图。Adagrad、Adadelta、RMSprop在稀疏数据下表现优秀，快速收敛。Adam在RMSprop基础上结合bias-correction和momentum，通常为最佳选择，尤其在梯度稀疏时。对于快速收敛和复杂网络，自适应算法是优选。
Pytorch Note21 优化算法对比
全部笔记的汇总贴：Pytorch Note 快乐星球
在Note15-20中，我们介绍了多种基于梯度的参数更新方法，实际中，我们可以使用Adam作为默认的优化算法，往往能够达到比较好的效果，同时SGD+Momentum的方法也值得尝试。
下面放一张各个优化算法的对比图
这两张图生动形象地展示了各种优化算法的实际效果，上面两种情况都可以看出，Adagrad, Adadelta, RMSprop 几乎很快就找到了正确的方向并前进，收敛速度也相当快，而其它方法要么很慢，要么走了很多弯路才找到。
如何选择优化算法
如果数据是稀疏的，就用自适用方法，即 Adagrad, Adadelta, RMSprop, Adam。
RMSprop, Adadelta, Adam 在很多情况下的效果是相似的。
Adam 就是在 RMSprop 的基础上加了 bias-correction 和 momentum&#x
订阅专栏 解锁全文
189
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
