目录
第7章 牛顿法收敛性
续上一篇博客初学牛顿法,对牛顿法当中的一些疑问进行简单粗浅的分析及总结。
问题细化:
牛顿法考虑二阶导数,求出海森矩阵,将一阶导除以二阶导作为新的改变量,这样收敛更快。但是一阶导除以二阶导后有可能导致一阶导变小,改变量不是变小了吗?下降不是减慢了吗?
7.1 图形角度
以图形这个较为形象具体的形式对牛顿法收敛快进行解释。
通俗地讲,梯度下降仅考虑当前位置坡度最大的方向,而牛顿法不仅考虑坡度够大,还要考虑走出这一步后坡度是否够大。
上面这句话很常见也很通俗,但似乎还不够清楚,下面将结合图的形式进行更加详细具体的解析。
在研究该问题之前首先要明白一个大前提,海森矩阵必须是正定的,那么函数的梯度在求解范围内递增,进一步可以认为函数是一个凸函数,如下图所示:
7.2 理论角度
根据一些已知结论或理论对牛顿法的合理性进行简单推导。
牛顿法中引入了二阶导数,二阶导数会影响函数图像的下降方向和大小。二阶导数在几何当中的含义为曲率,代表几何体的弯曲程度,是该段曲线形成的圆半径的倒数,所以该二阶导数的变化趋势是递增。即对式子
x
k
+
1
=
x
k
−
g
k
H
k
x_{k+1}=x_k-\frac{g_k}{H_k}
xk+1=xk−Hkgk 中的改变量进行调整,当远离极值点时加速下降,当靠近极值点则减缓下降。
因为懒且学得渣,所以没用什么专业软件来画函数图像,而是用网站desmos来画函数图像,不是很强大但还是能满足一些简单要求的,推荐给各位看官。
7.3 参考
[1] 大饼土博.最优化问题中,牛顿法为什么比梯度下降法求解需要的迭代次数更少?
[2].desmos