凸优化简介6

牛顿法

1. 牛顿法分析

牛顿法是寻找单变量函数根的方法。设函数 $f(t):R\to R,f(t^{\ast })=0$。牛顿法基于线性逼近，假定有和$t^{\ast }$足够接近的$t$，则使用泰勒展开式得到 $f(t+\Delta t)=f(t)+f^{\prime }(t)\Delta t+o(|\Delta t|)$。因此，等式 $f(t+\Delta t)=0$可以使用线性等式 $f(t)+f^{\prime }(t)\Delta t=0$来逼近。期望最优位移 $\Delta t^{\ast }=t^{\ast }-t$是一个好的逼近，则结合上面的线性逼近等式可以得到对 $t$的更新 $t_{k+1}=t_k-\frac{f(t_k)}{f^{\prime }(t_k)}$。
进一步的，将这种方法扩展到寻找非线性方程的解 $F(x)=0,x\in {\mathbb{R}}^n,F(x):{\mathbb{R}}^n\to {\mathbb{R}}^n$。类比上面的线性等式，可以写出针对非线性方程的一个等式 $F(x)+J_F(x)\Delta x=0$，称为牛顿方程组。如果雅可比矩阵 $J_F(x)$是可逆的，则类比线性的情况可以得到关于位移的等式 $\Delta x=-[F^{\prime }(x_k){]}^{-1}F(x_k)$，迭代中更新$x$的公式为 $x_{k+1}=x_k-[J_F(x_k){]}^{-1}F(x_k)$。
由于函数的极小值处 $\nabla f(x)=0$ （可能不是全局的最小值），因此，类别上面的方法，得到关于 $\Delta x$一个等式 $\nabla f(x)+{\nabla }^{2}f(x)\Delta x=0$，因此在迭代中更新的方法为 $x_{k+1}=x_k-[{\nabla }^{2}f(x_k){]}^{-1}\nabla f(x_k)$。
在严格局部最小的邻域内起始，牛顿方法收敛很快。但是由于在迭代中使用到了雅可比矩阵的逆，因此如果在迭代中可能出现矩阵不可逆的问题；此外，牛顿方法有可能发散。
例如，函数 $f(x)=\frac{x}{\sqrt{1+x^2}}$，则$f^{\prime }(x)=\frac{1}{(1+x^2{)}^{\frac{3}{2}}}$，应用上面的迭代公式得到 $x_{k+1}=x_k-\frac{f(x)}{f^{\prime }(x_k)}=-x_k^3$. 因此，如果初始点 $|x_0|<1$则算法会收敛到是的函数达到极小值的$x^{\ast }=0$，但是如果初始点 $|x_0|>1$，则该方法会发散。因此，为了避免发散，可以使用阻尼牛顿方法，即加上一个学习率 $x_{k+1}=x_k-h_k[{\nabla }^{2}f(x_k){]}^{-1}\nabla f(x_k)$。关于步长可以比较凸优化简介5中的梯度方法。
下面分析一下牛顿法的收敛性，假设 $f\in C_M^{2,2}({\mathbb{R}}^n)$，且函数 $f$存在局部的极小值，且Hessian 矩阵是正定的 ${\nabla }^{2}f(x^{\ast })⪰l{I}_n,l>0$，并且假设初始点$x_0$和 $x^{\ast }$足够的近。
在上面的迭代公式 x k + 1 = x k − [ ∇ 2 f ( x k ) ] − 1 ∇ f ( x k ) ⇒ x k + 1 − x ∗ = x k − x ∗ − [ ∇ 2 f ( x k ) ] − 1 ∇ f ( x k ) = x k − x ∗ − [ ∇ 2 f ( x k ) ] − 1 ∫