牛顿法无约束优化

牛顿法

梯度法仅仅依赖函数值和梯度的信息，如果函数$f(x)$充分光滑，则可以利用二阶导数信息构造下降方向$d^k$。牛顿类算法就是利用二阶导数信息来构造迭代格式的算法。由于利用信息变多，牛顿法的实际表现要好于梯度法，但是它对函数$f(x)$的要求也相应变高。

一、经典牛顿法
对于二次函数$f(x)$，考虑$f(x)$在点$x^k$处的二阶泰勒展开
$$f(x)=f(x^k)+\nabla f(x^k{)}^T(x-x^k)+(x-x^k{)}^T\frac{1}{2}{\nabla }^{2}f(x^k)(x-x^k)+o(||x-x^k|{|}^2)\text{\hspace{1em}(1)}$$
对于（1）式忽略高阶项，极小化，根据一阶极小化的必要性条件，可以得到
$$\nabla f(x^k)+{\nabla }^{2}f(x^k)(x-x^k)=0$$
若${\nabla }^{2}f(x^k)$可逆，于是有
$$x=x^k-({\nabla }^{2}f(x^k){)}^{-1}\nabla f(x^k)$$
从而可得经典牛顿法的迭代格式
$$x^{k+1}=x^k-({\nabla }^{2}f(x^k){)}^{-1}\nabla f(x^k)\text{\hspace{1em}(2)}$$
注意在经典迭代格式中，步长${\alpha }_k$恒为1，即可以不额外考虑步长的选取，我们也称步长为1的牛顿法为经典牛顿法。

我们这里不加证明给出经典牛顿法的局部收敛性
（1）如果初始点离$x^{\ast }$足够近，那么牛顿法产生的点列 { x k } \{x^k\} {xk}收敛于$x^{\ast }$;
（2） { x k } \{x^k\} {xk}收敛到点$x^{\ast }$的速度是二次的
（3） { ∣ ∣ ∇ f ( x k ) ∣ ∣ } \{||\nabla f(x^k)||\} {∣∣∇f(xk)∣∣}二次收敛到0
上述性质表明经典牛顿法是收敛速度很快的算法，但它的收敛是有条件的：第一初始点$x^0$必须距离问题的解充分近，即牛顿法只有局部收敛性，当$x^0$距离问题的解较远时，牛顿算法在多数情况下会失效；第二，海塞矩阵${\nabla }^{2}f(x^{\ast })$需要为正定矩阵；牛顿法适用于优化问题的高精度求解，但是它没有全局收敛性，因此在实际应用中，人们常会使用梯度类算法先求得较低精度的解，然后调用牛顿法来获得高精度的解。

二、修正牛顿法
尽管上节给出了经典牛顿法的迭代格式和收敛性质，在实际应用中这个迭代格式几乎时不能使用的，经典牛顿法有如下缺陷：
（1）每一步迭代需要求解一个$n$维线性方程组，这导致在高维问题中计算量较大，海塞矩阵${\nabla }^{2}f(x^k)$既不容易计算又不容易存储；
（2）当${\nabla }^{2}f(x^k)$不正定时，牛顿方程给出的解的性质通常比较差
（3）当迭代点距离最优值较远时，直接选取步长$alph{a}_k=1$会使得迭代机器不稳定，在有些情况下迭代点列会发散。
为了克服这些缺点，我们必须对经典牛顿法做出某些修正或者变形，使其成为真正可以使用的算法。这里介绍带线搜索的修正牛顿法，其基本思想是对牛顿方程中的海塞矩阵${\nabla }^{2}f(x^k)$进行修正，使其变成正定矩阵；同时引入线搜索以改善算法的稳定性；其算法迭代步骤如下

---

带线搜索的牛正牛顿法：
（1）给定初始点$x^0$;
（2）for k=0,1,2,…do
（3） 确定矩阵$E^k$使得矩阵$B^k={\nabla }^{2}f(x^k)+E^k$正定且条件数小
（4） 求解修正的牛顿方程$B^k(d^k)=-\nabla f(x^k)$，得到下降方向$d^k$
（5） 使用任意一种线搜索准则确定步长${\alpha }_k$
（6） 更行$x^{k+1}=x^k+{\alpha }_k{d}^k$
（7）endfor

---

一个直接的取法是取$E^k={\tau }_{k}I$，即取单位矩阵的常数倍，根据矩阵理论可知，当${\tau }_k$充分大时，总可以保证$B^k$是正定矩阵，然而${\tau }_k$不宜取得过大，这是因为${\tau }_k$趋于无穷时，$d^k$的方向会接近负梯度方向。

由于经典牛顿法和修正牛顿法均需要对海塞矩阵求逆，因此牛顿法在工程优化设计中很少直接被利用，常常采用的是通过迭代的方式逐步计算处接近牛顿法下降方向的算法，这种方法称为拟牛顿法。由于工程应用很少，本节就不给出编程实现了。