凸优化简介5

梯度方法

1. 梯度下降法的基本形式

基本的梯度下降法可以描述为：
$$\begin{gathered} 首先选择一个x_0\in {\mathbb{R}}^n \\ 之后迭代x_{k+1}=x_k-h_k\nabla f(x_k),k=0,1,\dots \end{gathered}$$
其中，正标量 $h_k$称为步长。当然，步长可以固定为一个常量，也可以是一个变化的量，比如 $h_k=\frac{h}{\sqrt{k+1}}$，即步长随着迭代次数的增加而不断的减小。

在理想的状态下，在每一步的迭代选择最佳的步长，称为完全松弛 $h_k=\underset{h\ge 0}{\mathrm{argmin}}f(x_k-h\nabla f(x_k))$。但是这种理想的状态很难达到，因此 Goldstein-Armijo规则是不这么理想的状态，该规则找到 $x_{k+1}=x_k-h\nabla f(x_k)$，并且满足如下两个条件：
$$\begin{gathered} \alpha ⟨\nabla f(x_k),x_k-x_{k+1}⟩\le f(x_k)-f(x_{k+1}) \\ \beta ⟨\nabla f(x_k),x_k-x_{k+1}⟩\ge f(x_k)-f(x_{k+1}) \end{gathered}$$
其中，$0<\alpha <\beta <1$是某个固定的参数。
下面是从几何角度解释 Goldstein-Armijo规则。首先对于一个$x\in {\mathbb{R}}^n$，考虑一个函数 $\varphi (h)=f(x-h\nabla f(x)),h\ge 0$. 那么符合这个策略的步长属于$\varphi$的图的一部分，即在两个线性函数之间：
$$\begin{gathered} {\varphi }_1(h)=f(x)-\alpha h\Vert \nabla f(x){\Vert }^2, \\ {\varphi }_2(h)=f(x)-\beta h\Vert \nabla f(x){\Vert }^2 \end{gathered}$$
下面是一个例子，函数$f(x)=\frac{1}{4}{x}^2$，设 $x_k=-2$，则函数 $\varphi (h)=f(-2-h\nabla f(-2))=\frac{1}{4}(h-2{)}^2,{\varphi }_1(h)=f(-2-\alpha h\Vert \nabla f(-2)){\Vert }^2=1-\alpha h,{\varphi }_2(h)=f(-2)-\beta h\Vert \nabla f(-2){\Vert }^2=1-\beta h.$

如上图所示，两条绿色的直线分别是斜率为 $-1$和$0$的，线性函数${\varphi }_1$与${\varphi }_2$确定了步长所在的范围，即橙色的区域。

2. 梯度方法的性能

对于某个函数 $\underset{x\in {\mathbb{R}}^n}{\min }f(x)$，该函数属于 $C_L^{1,1}({\mathbb{R}}^n)$类。假设该函数在 ${\mathbb{R}}^n$上有下界。对于梯度下降步骤，$y=x-h\nabla f(x)$，使用凸优化简介4第2部分最后的不等式 $|f(y)-f(x)-⟨\nabla f(x),y-x|\le \frac{L}{2}\Vert y-x{\Vert }^2$ 可以得到一个上界：
$$\begin{array}{rl}& f(y)\le f(x)+⟨\nabla f(x),y-x⟩+\frac{L}{2}\Vert y-x{\Vert }^2\\ & =f(x)-h\Vert \nabla f(x){\Vert }^2+\frac{h^2}{2}L\Vert \nabla f(x){\Vert }^2\\ & =f(x)-h(1-\frac{h}{2}L)\Vert \nabla f(x){\Vert }^2\end{array}$$
其中第一步到第二部的推导使用到 $y=x-h\nabla f(x)$这个等式，且 $1-\frac{h}{2}L>0$（注：因为上面推导的第一个不等式是成立的，因此推导到最后要保证不等式成立，则 $h\in (0,\frac{2}{L})$）.
为了得到最佳的步长估计，需要求解以下问题 $\Delta (h)=-h(1-\frac{h}{2}L)$，因此最优的步长应该满足 ${\Delta }^{\prime }(h)=hL-1=0$，并且此时 ${\Delta }^{\prime \prime }(h)=L>0$.
将最优步长 $h^{\ast }$带入上式得到 :
$f(x-h^{\ast }\nabla f(x))\le f(x)-\frac{1}{2L}\Vert \nabla f(x){\Vert }^2$.

3. 不同步长策略的对比

3.1 固定步长策略

设 $x_{k+1}=x_k-h_k\nabla f(x_k)$，那么固定步长$h_k=h$，使用上面的不等式得到
$f(x_k)-f(x_{k+1})\ge h(1-\frac{L}{2}h))\Vert \nabla f(x_k){\Vert }^2$.
设选择 $h_k=\frac{2\alpha }{L}$，其中 $\alpha \in (0,1)$，则上面的式子转换为 :
$f(x_k)-f(x_{k+1})\ge \frac{2}{L}\alpha (1-\alpha )\Vert \nabla f(x_k){\Vert }^2$，因此为了实现下降的最快，则最佳的步长是选择 $\alpha =\frac{1}{2}，即h_k=\frac{1}{L}$.

3.2 完全松弛策略

在 1.中介绍的完全松弛策略就是在每一步都选择最佳步长的理想状态，因此会比固定步长策略更好。

3.3 Goldstein-Armijo策略

根据 1.中的Goldstein-armijo的规则，得到 $f(x_k)-f(x_{k+1})\le \beta ⟨\nabla f(x_k),x_k-x_{k+1}⟩=\beta h_k\Vert \nabla f(x_k){\Vert }^2$.
根据 2.中的不等式，得到：
$f(x_k)-f(x_{k+1})\ge h_k(1-\frac{h_k}{2}L)\Vert \nabla f(x_k){\Vert }^2$.
结合上面的两个式子，得到 $h_k\ge \frac{2}{L}(1-\beta )$。
同理，根据 Goldstein-armijo中的另一个不等式得到：
$f(x_k)-f(x_{k+1})\ge \alpha ⟨\nabla f(x_k),x_k-x_{k+1})=\alpha h_k\Vert \nabla f(x_k){\Vert }^2$
将不等式中的 $h_k$替换为 $\frac{2}{L}(1-\beta )$得到不等式：
$f(x_k)-f(x_{k+1})\ge \frac{2}{L}\alpha (1-\beta )\Vert \nabla f(x_k){\Vert }^2$.
因此，可以得到，对于所有的$x_k$，$f(x_k-f(x_{k+1}))\ge \frac{\omega }{L}\Vert \nabla f(x_k){\Vert }^2$，其中 $\omega$是正的常量。
将上面的不等式中，从$k=0$累加到$k=N$，得到：
$\frac{\omega }{L}\sum _{k=0}^N\Vert \nabla f(x_k){\Vert }^2\le f(x_0)-f(x_{N+1})\le f(x_0)-f^{\ast }$。式子中的$f^{\ast }$是最优值。
因为有这个上界在，并且上面的式子中最左边累加一阶梯度平方的那一项不会超过这个上界，因此可以得到随着 $k$趋于 $\infty$，$\Vert \nabla f(x_k)\Vert \to 0$.
从收敛率方面来分析，设 $g_N^{\ast }=\underset{0\le k\le N}{\min }{g}_k$，其中 $g_k=\Vert \nabla f(x_k)\Vert$，根据上面的式子可以得到：
$$\begin{array}{rl}& g_N^{\ast }\\ & \le \sqrt{\frac{L}{\omega }(f(x_k)-f(x_{k+1}))}\\ & \le \sqrt{\frac{1}{N+1}\cdot \frac{L}{\omega }(f(x_0)-f^{\ast }))}\end{array}$$
从上面的式子可以看出随着$g_N^{\ast }$是不断趋于0的。
有上面的这些式子还可以进一步推导得到关于迭代步数的一个下界。
首先假设 $f(\tilde{x})\le f(x_0)$，且 $\Vert \nabla f(\tilde{x})\Vert \le ϵ$。
则上面的式子
$g_N^{\ast }\le \sqrt{\frac{1}{N+1}\cdot \frac{L}{\omega }(f(x_0)-f^{\ast }))}\le ϵ$，如果 $N+1\ge \frac{1}{\omega {ϵ}^2}(f(x_0)-f^{\ast })$，则必然有 $g_N^{\ast }\le ϵ$。

针对梯度下降的局部收敛，假设 $1.f\in C_M^{2,2}(\mathbb{R}{)}^n;$ 2. 存在函数 f的局部最小化，在这一点上 Hessian矩阵是正定的；3. 已知$x^{\ast }$关于 Hessian的界， $0<l<L<\infty$，使得 $l{I}_n⪯{\nabla }^{2}f(x^{\ast })⪯L{I}_n$; 4. 初始点 $x_0$和 $x^{\ast }$足够近。
因为 $\nabla f(x^{\ast })=0$，因此 $\nabla f(x_k)=\nabla f(x_k)-\nabla f(x^{\ast })={\int }_0^1{\nabla }^{2}f(x^{\ast }+\tau (x_k-x^{\ast }))(x_k-x^{\ast })d\tau$。设 $G_k={\int }_0^1{\nabla }^{2}f(x^{\ast }+\tau (x_k-x^{\ast }))d\tau$，因此，上式转化为 $\nabla f(x_k)=G_k\cdot (x_K-x^{\ast })$。

考虑 3.1 中的等式 $x_{k+1}=x_k-h_k\nabla f(x_k)$，那么 $x_{k+1}-x^{\ast }=x_k-x^{\ast }-h_k{G}_k(x_k-x^{\ast })=(I-h_k{G}_k)\cdot (x_k-x^{\ast })$。
分析上面这个式子的收敛性，使用 收缩映射证明。
令数列 { a k } \{a_k\} {ak​}的定义为 $a_0\in {\mathbb{R}}^n，a_{k+1}=A_k{a}_k$，等式中 $A_k$是一个矩阵， 满足 $\Vert A_k\Vert \le 1-q$，其中 $q\in (0,1)$。那么通过定义中的等式，$\Vert a_{k+1}\Vert \le (1-q)\Vert a_k\Vert \le \cdots \le (1-q{)}^{k+1}\Vert a_0\Vert$，最终，这个不等式趋向于0.
因此，使用这种方法，对上面的的 $x_{k+1}-x^{\ast }=(I-h_k{G}_k)\cdot (x_k-x^{\ast })$，估计$\Vert I_n-h_k{G}_k\Vert$。
根据凸优化简介4中 3. 部分的不等式，在这边设 $r_k=\Vert x_k-x^{\ast }\Vert$得到：
${\nabla }^{2}f(x^{\ast })-\tau M{r}_k{I}_n⪯{\nabla }^{2}f(x^{\ast }+\tau (x_k-x^{\ast }))⪯{\nabla }^{2}f(x^{\ast })+\tau M{r}_k{I}_n$。
然后对上面的式子对$\tau$从$0$到$1$进行积分，得到：
$(l-\frac{r_k}{2}M)I_n⪯G_k⪯(L+\frac{r_k}{2}M)I_n$. 在这一步转换中，使用到了已知条件中的第3个条件。
之后，式子可以进一步转换为 $(1-h_k(L+\frac{r_k}{2}M))I_n⪯I_n-h_k{G}_k⪯(1-h_k(l-\frac{r_k}{2}M))I_n$，因此：
∥ I n − h k G k ∥ ≤ m a x { ∣ a k ( h k ) ∣ , ∣ b k ( h k ) ∣ } \|I_n-h_kG_k\|\leq max \{|a_k(h_k)|, |b_k(h_k)|\} ∥In​−hk​Gk​∥≤max{∣ak​(hk​)∣,∣bk​(hk​)∣}，其中$a_k(h)=1-h(l-\frac{r_k}{2}M)$，并且 $b_k(h)=h(L+\frac{r_k}{2}M)-1$。

如果 $r_k<\tilde{r}\equiv \frac{2l}{M}$，那么$a_k(h)$是$h$的一个严格下降的函数，并且，对于足够小的$h_k$有：$\Vert I_n-h_k{G}_k\Vert <1$.
因为上面的等式 $x_{k+1}-x^{\ast }=(I-h_k{G}_k)\cdot (x_k-x^{\ast })$，因为 $\Vert I_n-h_k{G}_k\Vert <1$，再结合上面的 收缩映射的证明方式，可以最终得到 $r_{k+1}<r_k$.
下面考虑优化策略 m a x { ∣ a k ( h ) ∣ , ∣ b − k ( h ) ∣ } → min ⁡ h max\{|a_k(h)|,|b_-k(h)|\}\rightarrow \min \limits_{h} max{∣ak​(h)∣,∣b−​k(h)∣}→hmin​。
优化的步长 $h^{\ast }$通过等式 $a_k(h)=b_k(h)\iff 1-h(l-\frac{r_k}{2}M)=h(L+\frac{r_k}{2}M)-1$得到，因此， $h_k^{\ast }=\frac{2}{L+l}$。

根据上面得到的式子，$r_{k+1}=\Vert I_n-h_k{G}_k\Vert r_k\le (1-h^{\ast }(l-\frac{r_k}{2}M))r_k$,然后把 $h_k^{\ast }=\frac{2}{L+l}$带入得到 $r_{k+1}=\frac{(L-l)r_k}{L+l}+\frac{M{r}_k^2}{L+l}$。其中中间一步是根据选择$a_k(h)$与$b_k(h)$中最大的那一个，由于取到最优步长$h^{\ast }$时，$a_k(h)=b_k(h)$，因此在该式子中可以使用$a_k(h)$。
下面估计收敛率，设$q=\frac{2l}{L+l}$，且$a_k=\frac{M}{L+l}{r}_k$，其中$a_k<q$, 因为上面的不等式 $r_k<\frac{2l}{M}$。所以;
$a_{k+1}\le (1-q)a_k+a_k^2=a_k(1+(a_k-q))=\frac{a_k(1-(a_k-q{)}^2)}{1-(a_k-q)}\le \frac{a_k}{1+q-a_k}$。因此，对两边取倒数之后，$\frac{1}{a_{k+1}}\ge \frac{1+q}{a_k}-1$。之后两边乘以$q$再减去1得到：
$\frac{q}{a_{k+1}}-1\ge \frac{q(1+q)}{a_k}-1-q=(1+q)(\frac{q}{a_k}-1)$，然后递推到$a_0$得到：
$\frac{q}{a_k}-1\ge (q+1{)}^k(\frac{q}{a_0}-1)=(q+1{)}^k(\frac{2l}{L+l}\cdot \frac{L+l}{r_{0}M}-1)=(q+1{)}^k(\frac{\tilde{r}}{r_0}-1)$，因此得到：
$a_k\le \frac{q{r}_0}{r_0+(1+q{)}^k(\tilde{r}-r_0)}\le \frac{q{r}_0}{\tilde{r}-r_0}(\frac{1}{q+1}{)}^k$.

定理：令函数$f(x)$满足假设，且令初始点$x_0$和局部最小足够的近， $r_0=\Vert x_0-x^{\ast }\Vert \le \tilde{r}=\frac{2l}{M}$，因此使用最佳步长 $h^{\ast }$得到的收敛率为 $\Vert x_k-x^{\ast }\Vert \le \frac{\tilde{r}{r}_0}{\tilde{r}-r_0}(1-\frac{2l}{L+3l}{)}^k$，这种收敛率为线性的。

在上面的$\Vert x_k-x^{\ast }\Vert \le \frac{\tilde{r}{r}_0}{\tilde{r}-r_0}(1-\frac{2l}{L+3l}{)}^k$不等式的推导，使用到了定理上方的公式。上面已设 $r_k=\Vert x_k-x^{\ast }\Vert$,定理上上面已设 $a_k=\frac{M}{L+l}{r}_k$,根据定理上面最后得到的不等式即可推得最后的定理。