从最初的感动开始--数值计算【1】--梯度下降与牛顿法
直观来说,牛顿法因为使用了二阶导信息,比单纯的一阶导数的梯度下降法,其发现极值点回收敛得更快。
我个人的理解,梯度下降考虑了函数值下降最快的方向(梯度方向)。而在有些情况下,按这样的规则改变自变量取值,可能会走弯路。
其根本原因在于,梯度下降法,能够保证函数值在改点处的变化最快方向,但不能保证梯度本身向着最快变化方向变动。
大家经常见到的示意图长这样:
绿色的是梯度下降法,而红
原创
2017-04-02 17:22:38 ·
862 阅读 ·
0 评论