最优化中的牛顿法，二阶收敛性

心态与习惯

已于 2024-02-02 19:09:38 修改

阅读量3.5w

点赞数 11

分类专栏：数学优化文章标签：牛顿法

于 2016-11-17 02:05:35 首次发布

本文链接：https://blog.csdn.net/robert_chen1988/article/details/53137997

版权

数学优化专栏收录该内容

145 篇文章

订阅专栏

最近偶尔翻阅一本写的不错的最优化理论教材，该书讲得很详细，很透彻。我对非线性规划理论又有了全新的认识，发现牛顿法可以说是是无约束优化中最重要的方法，其他方法：LM方法，高斯牛顿，拟牛顿法，共轭梯度法可以说是对牛顿法的扩展。准备闲来无事时将牛顿法的原理以及求解过程用数例好好再过一遍。

适用对象：二阶可微函数

1. 牛顿法的几何意义本质

在原函数的某一点处用一个二次函数近似原函数，然后用这个二次函数的极小值点作为原函数的下一个迭代点。

上面这句话也说明，若原函数本身是一个二次函数，则牛顿法一步就能到达极小点或鞍点。若原函数本身是一个二次正定函数，则牛顿法一步到达最小值点。

2. 牛顿法的代数意义

梯度与黑塞矩阵分别由下列符号表示：

$g_k=\triangledown f(x)$

$G_k=\triangledown^2 f(x)$

设任意点为 Xk，下个一迭代点位 Xk+Sk，该迭代点在 Xk 处的二阶泰勒展开式为：

$f(x_k+s_k)=f(x_k)+g_k^Ts_k+\frac{1}{2}s_k^TG_k^Ts_k+o(\|s_k^2\|)$

用下个迭代点的值代替该点的值（其实就是让二阶泰勒展开式的一阶导数为零，也可以得到下面的迭代方向），即：

$f(x_k+s_k)=f(x_k)$

因此：

$0=g_k^Ts_k+\frac{1}{2}s^T_kG_k^Ts_k$

所以，迭代方向为：

$s_k=-G^-_kg_k$

该方向又称作牛顿方向。

3. 牛顿法的二阶收敛性

若初始点 x0 充分靠近极值点 x*，并且极值点 x* 的黑塞矩阵非奇异，并且黑塞矩阵在极值点附近 Lipschitz 连续，则牛顿法具有二阶收敛性。

注：Lipschitz 连续是一种比普通连续性更强的连续，它限制了函数的改变速度。对于函数可行域的任意两点，存在一个常数 K，使得：

$|f(a)-f(b)|\leq K|a-b|$

证明：

由黑塞矩阵的非奇异性与连续性知道，在 x*附近，存在一个常数 M，对于任意的 k，使得

$\|G^{-1}_{k}\|\leq M$

而：

$\|x_{k+1}-x^{*}\|=\|x_{k}-G_{k}^{-1}g_{k}-x^{*}\|\nonumber\\=\|x_{k}-x^{*}-G^{-1}_{k}g_{k})\|\nonumber\\=\|G^{-1}_{k}\|*\|G_{k}(x_{k}-x^{*}-g_{k}+g(x^{*}))\|\nonumber$

上式右端成立，是因为 g(x*)=0。继续：

$\|x_{k+1}-x^{*}\|\leq M\|G_{k}(x_{k}-x^{*})-g_{k}+g(x^{*})\|\nonumber\\=M\left\|G_{k}(x_{k}-x^{*})-\int_{0}^{1}(x_{k}-x^{*})G\left(x^{*}+t(x_{k}-x^{*})\right)dt\right\|\nonumber\\=M\left\|\int_{0}^{1}(x_{k}-x^{*})\left[G_{k}-G(x^{*}+t(x_{k}-x^{*}))\right]dt\right\|\nonumber$