凸优化学习笔记_chapter9_牛顿法收敛性分析

一、牛顿法计算步骤

首先给出牛顿法求解无约束优化问题的一般步骤：

---

给定起始点$x\in \mathbf{d}\mathbf{o}\mathbf{m}f$，阈值$ϵ>0$。

1.计算牛顿步（方向）和减少量
$$\Delta x_{\mathrm{n}\mathrm{t}}:=-{\nabla }^{2}f(x{)}^{-1}\nabla f(x);{\lambda }^2:=\nabla f(x{)}^{\mathrm{T}}{\nabla }^{2}f(x{)}^{-1}\nabla f(x)\text{\hspace{1em}(1)}$$

2.若${\lambda }^2/2<ϵ$，停止迭代；

3.线搜索：利用backtracking等方法计算步长$t$；

4.更新：$x:=x+t\Delta x_{\mathrm{n}\mathrm{t}}$，返回第1步。

---

二、牛顿法收敛性分析

一般来说，设计的算法为了能够在理论上有所保证，适当的收敛性分析是必要的（类似于控制系统的稳定性分析，没有稳定性分析不太好，过于强调稳定性分析也不太好，不可走极端）用$x^{(0)}$表示迭代起始点，定义集合 S = { x ∈ d o m f ∣ f ( x ) ≤ f ( x ( 0 ) ) } S=\{x\in\mathbf{dom}f\vert f(x)\leq f(x^{(0)})\} S={x∈domf∣f(x)≤f(x(0))}，牛顿法有如下假设：

假设1： $f$二阶连续可微，强凸，即存在$m>0$，$M>0$使得对$x\in S$，$mI⪯{\nabla }^{2}f(x)⪯MI$；

假设2： ${\nabla }^{2}f(x)$在$S$上为Lipschitz连续，即存在$L$使得对$x,y\in S$，$\Vert {\nabla }^{2}f(x)-{\nabla }^{2}f(y){\Vert }_2\le L\Vert x-y{\Vert }_2$。

在这两个假设前提下，牛顿法的收敛性质可描述为：存在$0<\eta \le m^2/L$和$\gamma >0$使得

• 若$\Vert \nabla f(x^{(k)}){\Vert }_2\ge \eta$（damped Newton phase），则
  $$f(x^{(k+1)})-f(x^{(k)})\le -\gamma \text{\hspace{1em}(2)}$$

• 若$\Vert f(x^{(k)}){\Vert }_2<\eta$（pure Newton phase），则利用backtracking方法选取$t^{(k)}=1$，且
  $$\frac{L}{2m^2}\Vert \nabla f(x^{(k+1)}){\Vert }_2\le {\left(\frac{L}{2m^2}\Vert \nabla f(x^{(k)}){\Vert }_2\right)}^2\text{\hspace{1em}(3)}$$

证明：假设1和假设2分别为damped Newton phase和pure Newton phase打造，确切来说damped Newton phase利用了假设1，而pure Newton phase利用了假设1和假设2，需要分阶段证明，首先对于damped Newton phase，主要证明两个性质。

性质1： 每一次迭代时利用backtracking方法计算步长$t$能够在有限步内终止；

性质2： 利用backtracking方法得到的步长使得目标函数的值下降，具体下降程度由式(2)给出。

对于damped Newton phase的性质1，首先注意到
$$\lambda (x{)}^2=-\nabla f(x{)}^{\mathrm{T}}\Delta x_{\mathrm{n}\mathrm{t}}=\Delta x_{\mathrm{n}\mathrm{t}}^{\mathrm{T}}{\nabla }^{2}f(x)\Delta x_{\mathrm{n}\mathrm{t}}\ge m\Vert \Delta x_{\mathrm{n}\mathrm{t}}{\Vert }_2^2\text{\hspace{1em}(4)}$$

然后考虑根据$f(x+t\Delta x_{\mathrm{n}\mathrm{t}})$，根据假设1和泰勒展开有
$$\begin{array}{rl}f(x+t\Delta x_{\mathrm{n}\mathrm{t}})& \le f(x)+t\nabla f(x{)}^{\mathrm{T}}\Delta x_{\mathrm{n}\mathrm{t}}+\frac{M}{2}{t}^2\Vert \Delta x_{\mathrm{n}\mathrm{t}}{\Vert }_2^2\\ & \le f(x)-t\lambda (x{)}^2+\frac{M}{2m}{t}^2\lambda (x{)}^2\end{array}\text{\hspace{1em}(5)}$$

选取步长$\hat{t}=m/M$，考虑到backtracking方法中的$\alpha <1/2$，则根据式(5)可知
$$f(x+\hat{t}\Delta x_{\mathrm{n}\mathrm{t}})\le f(x)-\frac{m}{2M}\lambda (x{)}^2\le f(x)-\alpha \hat{t}\lambda (x{)}^2\text{\hspace{1em}(6)}$$

因此存在步长$t\ge \beta m/M$使得backtracking方法终止。

进一步对于damped Newton phase的性质2，注意到
$$\lambda (x{)}^2=\nabla f(x{)}^{\mathrm{T}}{\nabla }^{2}f(x{)}^{-1}\nabla f(x)\ge \frac{1}{M}\Vert \nabla f(x){\Vert }_2^2\text{\hspace{1em}(7)}$$

结合式(6)和(7)可知，对于damped Newton phase，$f(x+t\Delta x_{\mathrm{n}\mathrm{t}})$相比于$f(x)$下降的程度为
$$\begin{array}{rl}f(x+t\Delta x_{\mathrm{n}\mathrm{t}})-f(x)& \le -\alpha t\lambda (x{)}^2\\ & \le -\alpha \beta \frac{m}{M}\lambda (x{)}^2\\ & \le -\alpha \beta \frac{m}{M^2}\Vert \nabla f(x){\Vert }_2^2\\ & \le -\alpha \beta {\eta }^2\frac{m}{M^2}\end{array}\text{\hspace{1em}(8)}$$

比较式(2)和(8)，取$\gamma =\alpha \beta {\eta }^2\frac{m}{M^2}$可使得damped Newton phase的收敛性成立。

然后对于pure Newton phase，也是主要证明两个性质。

性质3： 每一次迭代时利用backtracking方法时，步长$t$取为1能够满足退出条件；

性质4： 目标函数的梯度值下降，具体下降程度由式(3)给出。

对于性质3，令$\tilde{f}(t)=f(x+t\Delta x_{\mathrm{n}\mathrm{t}})$，则${\tilde{f}}^{\prime \prime }(t)=\Delta x_{\mathrm{n}\mathrm{t}}^{\mathrm{T}}{\nabla }^{2}f(x+t\Delta x_{\mathrm{n}\mathrm{t}})\Delta x_{\mathrm{n}\mathrm{t}}$，结合假设2可知
$$|{\tilde{f}}^{\prime \prime }(t)-{\tilde{f}}^{\prime \prime }(0)|\le tL\Vert \Delta x_{\mathrm{n}\mathrm{t}}{\Vert }_2^3\text{\hspace{1em}(9)}$$

考虑到${\tilde{f}}^{\prime \prime }(0)=\lambda (x{)}^2$和式(4)，由式(9)可得
$${\tilde{f}}^{\prime \prime }(t)\le {\tilde{f}}^{\prime \prime }(0)+tL\Vert \Delta x_{\mathrm{n}\mathrm{t}}{\Vert }_2^3\le \lambda (x{)}^2+t\frac{L}{m^{3/2}}\lambda (x{)}^3\text{\hspace{1em}(10)}$$

考虑到${\tilde{f}}^{\prime }(0)=\nabla f(x{)}^{\mathrm{T}}\Delta x_{\mathrm{n}\mathrm{t}}=-\lambda (x{)}^2$，对式(10)从0到$t$积分1次有
$${\tilde{f}}^{\prime }(t)\le {\tilde{f}}^{\prime }(0)+t\lambda (x{)}^2+t^2\frac{L}{2m^{3/2}}\lambda (x{)}^3\le -\lambda (x{)}^2+t\lambda (x{)}^2+t^2\frac{L}{2m^{3/2}}\lambda (x{)}^3\text{\hspace{1em}(11)}$$

对式(11)从0到$t$积分1次有
$$\tilde{f}(t)\le \tilde{f}(0)-t\lambda (x{)}^2+\frac{t^2}{2}\lambda (x{)}^2+t^3\frac{L}{6m^{3/2}}\lambda (x{)}^3\text{\hspace{1em}(12)}$$

对式(12)取$t=1$可得
$$f(x+\Delta x_{\mathrm{n}\mathrm{t}})\le f(x)-\frac{1}{2}\lambda (x{)}^2+\frac{L}{6m^{3/2}}\lambda (x{)}^3\text{\hspace{1em}(13)}$$

取 η = min ⁡ { m 2 / L , 3 ( 1 − 2 α ) m 2 / L } \eta=\min\{m^2/L,3(1-2\alpha)m^2/L\} η=min{m2/L,3(1−2α)m2/L}（类似于控制系统稳定性分析中的增益系数，完全是人为构造出来的），则有
$$\begin{array}{rl}\lambda (x{)}^2& =\nabla f(x{)}^{\mathrm{T}}{\nabla }^{2}f(x{)}^{-1}\nabla f(x)\\ & \le \frac{1}{m}\Vert \nabla f(x){\Vert }_2^2\\ & \le \frac{1}{m}{\eta }^2\\ & \Rightarrow \lambda (x)\le \frac{3(1-2\alpha )m^{3/2}}{L}\end{array}\text{\hspace{1em}(14)}$$

结合式(13)和(14)可知
$$\begin{array}{rl}f(x+\Delta x_{\mathrm{n}\mathrm{t}})& \le f(x)-\lambda (x{)}^2\left(\frac{1}{2}-\frac{L\lambda (x)}{6m^{3/2}}\right)\\ & \le f(x)-\alpha \lambda (x{)}^2\\ & =f(x)+\alpha \nabla f(x{)}^{\mathrm{T}}\Delta x_{\mathrm{n}\mathrm{t}}\end{array}\text{\hspace{1em}(15)}$$

由式(15)可知步长$t$取为1能够满足backtracking方法的退出条件，注意这里步长$t$不需要像damped Newton phase那样自乘$\beta$才退出，因为backtracking方法中步长$t$的初值就是1，然后根本不用进while迭代计算就退出了。

进一步对于pure Newton phase的性质4，注意到$\nabla f(x)+{\nabla }^{2}f(x)\Delta x_{\mathrm{n}\mathrm{t}}=0$，因此
$$\begin{array}{rl}\Vert \nabla f(x+\Delta x_{\mathrm{n}\mathrm{t}}){\Vert }_2& =\Vert \nabla f(x+\Delta x_{\mathrm{n}\mathrm{t}})-\nabla f(x)-{\nabla }^{2}f(x)\Delta x_{\mathrm{n}\mathrm{t}}{\Vert }_2\\ & ={\Vert {\int }_0^1({\nabla }^{2}f(x+t\Delta x_{\mathrm{n}\mathrm{t}})-{\nabla }^{2}f(x))\Delta x_{\mathrm{n}\mathrm{t}}\mathrm{d}t\Vert }_2\\ & \le \frac{L}{2}\Vert \Delta x_{\mathrm{n}\mathrm{t}}{\Vert }_2^2\\ & =\frac{L}{2}\Vert {\nabla }^{2}f(x{)}^{-1}\nabla f(x){\Vert }_2^2\\ & \le \frac{L}{2m^2}\Vert \nabla f(x){\Vert }_2^2\end{array}\text{\hspace{1em}(16)}$$

比较式(3)和(16)可知性质4成立，牛顿法的整个收敛性证明完成。

三、牛顿法收敛性含义

我们进一步看看牛顿法的收敛性意味着什么。

设$f(x)$的最优值为$p^{\ast }$，首先在damped Newton phase，每次迭代后$f(x)$的值至少减小$\gamma$，因此damped Newton phase的迭代步数不超过$\frac{f(x^{(0)}-p^{\ast })}{\gamma }$。

然后对于pure Newton phase，由式(3)可知一旦进入pure Newton phase，此后一直都是pure Newton phase，且对$l\ge k$，有
$$\frac{L}{2m^2}\Vert \nabla f(x^{(l)}){\Vert }_2\le {\left(\frac{L}{2m^2}\Vert \nabla f(x^{(k)}){\Vert }_2\right)}^{2^{l-k}}\le {\left(\frac{1}{2}\right)}^{2^{l-k}}\text{\hspace{1em}(17)}$$

由假设1可知对任意$x,y\in S$，
$$f(y)\ge f(x)+\nabla f(x{)}^{\mathrm{T}}(y-x)+\frac{m}{2}\Vert y-x{\Vert }_2^2\text{\hspace{1em}(18)}$$

固定$x$，将式(18)右端视为关于$y$的凸函数，其在$x-(1/m)\nabla f(x)$处取极小值，因此有
$$f(y)\ge f(x)+\nabla f(x{)}^{\mathrm{T}}(-\frac{1}{m}\nabla f(x))+\frac{m}{2}\Vert \frac{1}{m}\nabla f(x){\Vert }_2^2=f(x)-\frac{1}{2m}\Vert \nabla f(x){\Vert }_2^2\text{\hspace{1em}(19)}$$

由于式(19)对任意$x,y\in S$都成立，因此有
$$p^{\ast }\ge f(x)-\frac{1}{2m}\Vert \nabla f(x){\Vert }_2^2\text{\hspace{1em}(20)}$$

结合式(17)和(20)可知
$$f(x^{(l)})-p^{\ast }\le \frac{1}{2m}\Vert \nabla f(x^{(l)}){\Vert }_2^2\le \frac{2m^3}{L^2}{\left(\frac{1}{2}\right)}^{2^{l-k+1}}$$

因此要想使$f(x)-p^{\ast }\le ϵ$，在pure Newton phase中需要的迭代步数不超过${\log }_2({\log }_2({ϵ}_0/ϵ))$，其中${ϵ}_0=2m^3/L^2$，这一迭代速度是很快的，特别地，6次迭代就可以使得$ϵ\approx 5\times 10^{-20}{ϵ}_0$，因此在大部分场合，牛顿法需要的迭代步数不超过$\frac{f(x^{(0)}-p^{\ast })}{\gamma }+6$。