深度学习最全优化方法总结比较(SGD,Adagrad,Adadelta,Adam,Adamax,Nadam)
Semantic Segmentation / changqianyu.me
1,652 人赞同了该文章
前言
(标题不能再中二了)本文仅对一些常见的优化方法进行直观介绍和简单的比较,各种优化方法的详细内容及公式只好去认真啃论文了,在此我就不赘述了。
SGD
此处的SGD指mini-batch gradient descent,关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent的具体区别就不细说了。现在的SGD一般都指mini-batch gradient descent。
SGD就是每一次迭代计算mini-batch的梯度,然后对参数进行更新,是最常见的优化方法了。即:
![[公式]](https://i-blog.csdnimg.cn/blog_migrate/25d68df3b28c6f33e6d7b3b0a76ce6dd.png)
![[公式]](https://i-blog.csdnimg.cn/blog_migrate/783bad62a134a5f054309fab1232480b.png)
其中,是学习率,
是梯度 SGD完全依赖于当前batch的梯度,所以
可理解为允许当前batch的梯度多大程度影响参数更新
缺点:(正因为有这些缺点才让这么多大神发展出了后续的各种算法)
- 选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征,有时我们可能想更新快一些对于不经常出现的特征,对于常出现的特征更新慢一些,这时候SGD就不太能满足要求了
- SGD容易收敛到局部最优,并且在某些情况下可能被困在鞍点【原来写的是“容易困于鞍点”,经查阅论文发现,其实在合适的初始化和step size的情况下,鞍点的影响并没这么大。感谢@冰橙的指正】
Momentum
momentum是模拟物理里动量的概念,积累之前的动量来替代真正的梯度。公式如下:
![[公式]](https://i-blog.csdnimg.cn/blog_migrate/b601f9104ee505034fe9a7220b69830b.png)
![[公式]](https://i-blog.csdnimg.cn/blog_migrate/8dc5dbcf8a326bd5df856e53e491af68.png)
其中,是动量因子
特点:
- 下降初期时,使用上一次参数更新,下降方向一致&#x