经典牛顿法

经典牛顿法（Pure Newton’s Method）

对于二次连续可微函数$f$，求
min ⁡ { f ( x ) : x ∈ R n } \min \{ f(\boldsymbol{x}):x\in \mathbb{R}^n\} min{f(x):x∈Rn}

由多元函数泰勒公式
$$f(\mathbf{x})=f({\mathbf{x}}_k)+\nabla f({\mathbf{x}}_k{)}^T(\mathbf{x}-{\mathbf{x}}_k)+\frac{1}{2}(\mathbf{x}-{\mathbf{x}}_k{)}^T{\nabla }^{2}f({\mathbf{x}}_k)(\mathbf{x}-{\mathbf{x}}_k)+o(\Vert \mathbf{x}-{\mathbf{x}}_k\Vert {)}^2)$$
我们忽略高阶项，然后近似$f(\mathbf{x})$
$$f(\mathbf{x})\approx f({\mathbf{x}}_k)+\nabla f({\mathbf{x}}_k{)}^T(\mathbf{x}-{\mathbf{x}}_k)+\frac{1}{2}(\mathbf{x}-{\mathbf{x}}_k{)}^T{\nabla }^{2}f({\mathbf{x}}_k)(\mathbf{x}-{\mathbf{x}}_k)$$
接着找下降最多的地方
x k + 1 = arg ⁡ min ⁡ x ∈ R n { f ( x k ) + ∇ f ( x k ) T ( x − x k ) + 1 2 ( x − x k ) T ∇ 2 f ( x k ) ( x − x k ) } \boldsymbol{x}_{k+1}=\arg \min_{\boldsymbol{x} \in \mathbb{R}^n}\{ f(\boldsymbol{x}_k)+\nabla f(\boldsymbol{x}_k)^T(\boldsymbol{x}-\boldsymbol{x}_k)+\frac{1}{2}(\boldsymbol{x}-\boldsymbol{x}_k)^T\nabla^2f(\boldsymbol{x}_k)(\boldsymbol{x}-\boldsymbol{x}_k)\} xk+1​=argx∈Rnmin​{f(xk​)+∇f(xk​)T(x−xk​)+21​(x−xk​)T∇2f(xk​)(x−xk​)}
这里我们假设${\nabla }^{2}f({\mathbf{x}}_k)\succ 0$
那么最小值点就是驻点
所以求个导
$$\begin{gathered} \nabla f({\mathbf{x}}_k)+{\nabla }^{2}f({\mathbf{x}}_k)(\mathbf{x}-{\mathbf{x}}_k)=0 \\ \Rightarrow {\mathbf{x}}_{k+1}={\mathbf{x}}_k-({\nabla }^{2}f({\mathbf{x}}_k){)}^{-1}\nabla f({\mathbf{x}}_k) \end{gathered}$$
$-({\nabla }^{2}f({\mathbf{x}}_k){)}^{-1}\nabla f({\mathbf{x}}_k)$称为牛顿方向
这种更新方式就叫做经典牛顿法

缺点

首先计算海森矩阵，计算量很大，更何况还要求逆
而且，尽管我们要求海森矩阵正定，但是也不能保证收敛
例如$f(x)=\sqrt{1+x^2}$,用经典牛顿法
在初始点$\left|x_0\right|<1$收敛，$\left|x_0\right|\ge 1$发散

收敛性

引理1

设$A^T=A$,则$$\Vert A\Vert ={\lambda }_{\max }(A)$$
证明：
$Ax=\lambda x$
$A^{T}x=\lambda x$
$A^{T}Ax=A^T\lambda x={\lambda }^{2}x$
$\Vert A\Vert =\sqrt{{\lambda }_{\max }(A^{T}A)}={\lambda }_{\max }(A)$

定理1

假设$f$二阶连续可微，并且
1）$\exists m>0$,对于$\forall x\in {\mathbb{R}}^n$,有${\nabla }^{2}f(\mathbf{x})⪰mI$
2）$\exists L>0$,对于$\forall \mathbf{x},\mathbf{y}\in {\mathbb{R}}^n$,有$\Vert {\nabla }^{2}f(\mathbf{x})-{\nabla }^{2}f(\mathbf{y})\Vert \le L\Vert \mathbf{x}-\mathbf{y}\Vert$

设 { x k } k ≥ 0 \{\boldsymbol{x}_k \}_{k\ge 0} {xk​}k≥0​为经典牛顿法产生的序列，
设${\mathbf{x}}^{\ast }$为${\mathbb{R}}^n$上唯一的最小值点
那么
$$\Vert {\mathbf{x}}_{k+1}-{\mathbf{x}}^{\ast }\Vert \le \frac{L}{2m}\Vert {\mathbf{x}}_k-{\mathbf{x}}^{\ast }{\Vert }^2(k=0,1,\cdots )$$
并且如果$\Vert {\mathbf{x}}_0-{\mathbf{x}}^{\ast }\Vert \le \frac{m}{L}$,那么
$$\Vert {\mathbf{x}}_k-{\mathbf{x}}^{\ast }\Vert \le \frac{2m}{L}(\frac{1}{2}{)}^{2^k}(k=0,1,\cdots )$$

证明：
显然$\nabla f({\mathbf{x}}^{\ast })=0$
$$\begin{array}{rl}{\mathbf{x}}_{k+1}-{\mathbf{x}}^{\ast }& ={\mathbf{x}}_k-({\nabla }^{2}f({\mathbf{x}}_k){)}^{-1}\nabla f({\mathbf{x}}_k)-{\mathbf{x}}^{\ast }\\ & ={\mathbf{x}}_k-{\mathbf{x}}^{\ast }-({\nabla }^{2}f({\mathbf{x}}_k){)}^{-1}(\nabla f({\mathbf{x}}_k)-{\nabla }^{2}f({\mathbf{x}}^{\ast }))\\ & ={\mathbf{x}}_k-{\mathbf{x}}^{\ast }+({\nabla }^{2}f({\mathbf{x}}_k){)}^{-1}{\int }_0^1{\nabla }^{2}f({\mathbf{x}}_k+t({\mathbf{x}}^{\ast }-{\mathbf{x}}_k))({\mathbf{x}}^{\ast }-{\mathbf{x}}_k)\mathrm{d}t\\ & =({\nabla }^{2}f({\mathbf{x}}_k){)}^{-1}{\int }_0^1\left[{\nabla }^{2}f({\mathbf{x}}_k+t({\mathbf{x}}^{\ast }-{\mathbf{x}}_k))-{\nabla }^{2}f({\mathbf{x}}_k)\right]({\mathbf{x}}^{\ast }-{\mathbf{x}}_k)\mathrm{d}t\end{array}$$
$${\nabla }^{2}f(\mathbf{x})⪰mI\Rightarrow \lambda \ge m\Rightarrow \frac{1}{m}\le \frac{1}{\lambda }\Rightarrow \Vert ({\nabla }^{2}f(\mathbf{x}){)}^{-1}\Vert \le \frac{1}{m}$$
$$\begin{array}{rl}& \Vert {\int }_0^1\left[{\nabla }^{2}f({\mathbf{x}}_k+t({\mathbf{x}}^{\ast }-{\mathbf{x}}_k))-{\nabla }^{2}f({\mathbf{x}}_k)\right]({\mathbf{x}}^{\ast }-{\mathbf{x}}_k)\mathrm{d}t\Vert \\ & \le {\int }_0^1\Vert \left[{\nabla }^{2}f({\mathbf{x}}_k+t({\mathbf{x}}^{\ast }-{\mathbf{x}}_k))-{\nabla }^{2}f({\mathbf{x}}_k)\right]({\mathbf{x}}^{\ast }-{\mathbf{x}}_k)\Vert \mathrm{d}t\\ & \le {\int }_0^1\Vert {\nabla }^{2}f({\mathbf{x}}_k+t({\mathbf{x}}^{\ast }-{\mathbf{x}}_k))-{\nabla }^{2}f({\mathbf{x}}_k)\Vert \Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}_k\Vert \mathrm{d}t\\ & \le {\int }_0^{1}L\Vert {\mathbf{x}}_k+t({\mathbf{x}}^{\ast }-{\mathbf{x}}_k)-{\mathbf{x}}_k\Vert \Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}_k\Vert \mathrm{d}t\\ & \le {\int }_0^{1}L\Vert t({\mathbf{x}}^{\ast }-{\mathbf{x}}_k)\Vert \Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}_k\Vert \mathrm{d}t\\ & \le {\int }_0^{1}Lt\Vert ({\mathbf{x}}^{\ast }-{\mathbf{x}}_k)\Vert \Vert {\mathbf{x}}^{\ast }-{\mathbf{x}}_k\Vert \mathrm{d}t\\ & =\frac{L}{2}\Vert {\mathbf{x}}_k-{\mathbf{x}}^{\ast }{\Vert }^2\end{array}$$
所以
$$\Vert {\mathbf{x}}_{k+1}-{\mathbf{x}}^{\ast }\Vert \le \frac{L}{2m}\Vert {\mathbf{x}}_k-{\mathbf{x}}^{\ast }{\Vert }^2$$
接着用数学归纳法证明$\Vert {\mathbf{x}}_k-{\mathbf{x}}^{\ast }\Vert \le \frac{2m}{L}(\frac{1}{2}{)}^{2^k}$
当$k=0$时，
$$\Vert {\mathbf{x}}_0-{\mathbf{x}}^{\ast }\Vert \le \frac{m}{L}=\frac{2m}{L}(\frac{1}{2}{)}^{2^0}$$
成立
假设$k$时成立
当$k+1$时
$$\Vert {\mathbf{x}}_{k+1}-{\mathbf{x}}^{\ast }\Vert \le \frac{L}{2m}\Vert {\mathbf{x}}_k-{\mathbf{x}}^{\ast }{\Vert }^2\le \frac{L}{2m}(\frac{2m}{L}(\frac{1}{2}{)}^{2^k}{)}^2=\frac{2m}{L}(\frac{1}{2}{)}^{2^{k+1}}$$
成立

所以我们得出如果初始点足够近，那么经典牛顿法是二次收敛的

定理2

假设$f$二阶连续可微
设最小值点为${\mathbf{x}}^{\ast }$
存在$L>0$，对于$\forall \mathbf{x},\mathbf{y}\in N_{\delta }({\mathbf{x}}^{\ast })$(${\mathbf{x}}^{\ast }$的领域),有
$$\Vert {\nabla }^{2}f(\mathbf{x})-{\nabla }^{2}f(\mathbf{y})\Vert \le L\Vert \mathbf{x}-\mathbf{y}\Vert$$
如果$\nabla f({\mathbf{x}}^{\ast })=0,{\nabla }^{2}f({\mathbf{x}}^{\ast })\succ 0$,则
1)如果初始点离${\mathbf{x}}^{\ast }$足够近，则 { x k } \{\boldsymbol{x}_{k}\} {xk​}收敛到${\mathbf{x}}^{\ast }$
2) { x k } \{\boldsymbol{x}_{k}\} {xk​}收敛到${\mathbf{x}}^{\ast }$的速度是Q-二次的
3) { ∥ ∇ f ( x k ) ∥ } \{\Vert \nabla f(\boldsymbol{x}_k)\Vert \} {∥∇f(xk​)∥}Q-二次收敛到0
证明：
因为${\nabla }^{2}f({\mathbf{x}}^{\ast })$是非奇异的，并且$f$二阶连续可微，因此
$\exists r>0$,对于任意满足 $\Vert \mathbf{x}-{\mathbf{x}}^{\ast }\Vert <r$的$\mathbf{x}$，均有
$$\Vert ({\nabla }^{2}f(\mathbf{x}){)}^{-1}\Vert \le 2\Vert ({\nabla }^{2}f({\mathbf{x}}^{\ast }){)}^{-1}\Vert$$
（其实我也没看懂上面这个 ）

然后与定理1类似，有
$$\Vert {\mathbf{x}}_{k+1}-{\mathbf{x}}^{\ast }\Vert \le 2\Vert ({\nabla }^{2}f({\mathbf{x}}^{\ast }){)}^{-1}\Vert \frac{L}{2}\Vert {\mathbf{x}}_k-{\mathbf{x}}^{\ast }{\Vert }^2=L\Vert ({\nabla }^{2}f({\mathbf{x}}^{\ast }){)}^{-1}\Vert \Vert {\mathbf{x}}_k-{\mathbf{x}}^{\ast }{\Vert }^2$$
因此，当${\mathbf{x}}_0$满足
$$\Vert x^0-x^{\ast }\Vert \le \min \left\{\delta ,r,\frac{1}{2L\Vert {\nabla }^{2}f{\left(x^{\ast }\right)}^{-1}\Vert }\right\}\stackrel{\text{ def }}{=}\hat{\delta }$$
时，可保证 { x k } \{\boldsymbol{x}_{k}\} {xk​}收敛到$N_{\hat{\delta }}({\mathbf{x}}^{\ast })$中（其实我也没看懂）
因此 { x k } \{\boldsymbol{x}_{k}\} {xk​}Q-二次收敛到${\mathbf{x}}^{\ast }$

根据$\nabla f({\mathbf{x}}_k)+{\nabla }^{2}f({\mathbf{x}}_k)(\mathbf{x}-{\mathbf{x}}_k)=0$
有
$$\begin{array}{rl}\Vert \nabla f({\mathbf{x}}_{k+1})\Vert & =\Vert \nabla f({\mathbf{x}}_{k+1})-(\nabla f({\mathbf{x}}_k)+{\nabla }^{2}f({\mathbf{x}}_k)(\mathbf{x}-{\mathbf{x}}_k))\Vert \\ & =\Vert {\int }_0^1{\nabla }^{2}f({\mathbf{x}}_k+t(\mathbf{x}-{\mathbf{x}}_k))(\mathbf{x}-{\mathbf{x}}_k)\mathrm{d}t-{\nabla }^{2}f({\mathbf{x}}_k)(\mathbf{x}-{\mathbf{x}}_k))\Vert \\ & =\Vert {\int }_0^1\left[{\nabla }^{2}f({\mathbf{x}}_k+t(\mathbf{x}-{\mathbf{x}}_k))-{\nabla }^{2}f({\mathbf{x}}_k)\right](\mathbf{x}-{\mathbf{x}}_k)\mathrm{d}t\Vert \\ & \le \frac{L}{2}\Vert \mathbf{x}-{\mathbf{x}}_k{\Vert }^2\\ & =\frac{L}{2}\Vert -({\nabla }^{2}f({\mathbf{x}}_k){)}^{-1}\nabla f({\mathbf{x}}_k){\Vert }^2\\ & \le \frac{L}{2}\Vert ({\nabla }^{2}f({\mathbf{x}}_k){)}^{-1}{\Vert }^2\Vert \nabla f({\mathbf{x}}_k){\Vert }^2\\ & \le \frac{L}{2}4\Vert ({\nabla }^{2}f({\mathbf{x}}^{\ast }){)}^{-1}{\Vert }^2\Vert \nabla f({\mathbf{x}}_k){\Vert }^2\\ & =2L\Vert ({\nabla }^{2}f({\mathbf{x}}^{\ast }){)}^{-1}{\Vert }^2\Vert \nabla f({\mathbf{x}}_k){\Vert }^2\end{array}$$
所以 { ∥ ∇ f ( x k ) ∥ } \{\Vert \nabla f(\boldsymbol{x}_k)\Vert \} {∥∇f(xk​)∥}Q-二次收敛到0