凸优化简介12

梯度下降加速理论分析

针对凸优化简介11 中最后的算法过程，下面分析${\lambda }_k$趋向于0的速度。

定理：如果 ${\gamma }_0\ge \mu$， 那么 λ k ≤ min ⁡ { ( 1 − μ L ) 2 , 4 L ( 2 L + k γ 0 ) 2 } \lambda_k\leq \min\{(1-\sqrt{\frac{\mu}{L}})^2, \frac{4L}{(2\sqrt{L}+k\sqrt\gamma_0)^2}\} λk​≤min{(1−Lμ​ ​)2,(2L ​+kγ ​0​)24L​}

证明：如果 ${\gamma }_k\ge \mu$，那么 ${\gamma }_{k+1}=L{a}_k^2=(1-a_k){\gamma }_k+a_k\mu \ge \mu$，因为定理中有条件 ${\gamma }_0\ge \mu$，所以得到 $a_k\ge \sqrt{\frac{\mu }{L}}$。由凸优化简介11引理2得到 ${\lambda }_k=\prod _{i=0}^{k-1}(1-a_i)$，因此带入 $a_k\ge \sqrt{\frac{\mu }{L}}$得到${\lambda }_k\le (1-\sqrt{\frac{\mu }{L}}{)}^k$.
设 $b_k=\frac{1}{\sqrt{{\lambda }_k}}$，因为 { λ k } \{\lambda_k\} {λk​}是一个下降序列，因此可以得到：
$$\begin{array}{rl}& b_{k+1}-b_k=\frac{\sqrt{{\lambda }_k}-\sqrt{{\lambda }_{k+1}}}{\sqrt{{\lambda }_k{\lambda }_{k+1}}}\\ & =\frac{{\lambda }_k-{\lambda }_{k+1}}{\sqrt{{\lambda }_k{\lambda }_{k+1}}(\sqrt{{\lambda }_k}+\sqrt{{\lambda }_{k+1}})}\\ & \ge \frac{{\lambda }_k-{\lambda }_{k+1}}{2{\lambda }_k\sqrt{{\lambda }_{k+1}}}\\ & =\frac{{\lambda }_k-(1-a_k){\lambda }_k}{2{\lambda }_k\sqrt{{\lambda }_{k+1}}}\\ & =\frac{a_k}{2\sqrt{{\lambda }_{k+1}}}\\ & \ge \frac{1}{2}\sqrt{\frac{{\gamma }_0}{L}}\end{array}$$
因此，可以得到 $b_k\ge 1+\frac{k}{2}\sqrt{\frac{{\gamma }_0}{L}}$.

定理：若取${\gamma }_0=L$，那么这个过程产生的序列 { x k } k = 0 ∞ \{x_k\}^{\infty}_{k=0} {xk​}k=0∞​，满足 f ( x k ) − f ∗ ≤ L min ⁡ { ( 1 − μ L ) k , 4 ( k + 1 ) 2 } ∥ x 0 − x ∗ ∥ 2 f(x_k)-f^*\leq L \min \{(1-\sqrt{\frac{\mu}{L}})^k,\frac{4}{(k+1)^2}\}\|x_0-x^*\|^2 f(xk​)−f∗≤Lmin{(1−Lμ​ ​)k,(k+1)24​}∥x0​−x∗∥2. 这说明，对于来自 ${\mathfrak{F}}_{\mu ,L}^{1,1}({\mathbb{R}}^n)$的函数，$\mu \ge 0$，其无约束最小化是最优的

证明：我们使用 $f(x_0)-f^{\ast }\le \frac{L}{2}\Vert x_0-x^{\ast }{\Vert }^2$以及前面的定理得到上面的不等式。
下面是凸优化简介11 最后的算法过程的变种，不同之处在于 步长的选择。

1. 选择 $x_0\in {\mathbb{R}}^n$,并且 ${\gamma }_0>0$,设 $v_0=x_0$;
2. 迭代 $k$ 次：
   2.1 从等式 $L{a}_k^2=(1-a_k){\gamma }_k+a_k\mu$计算得到 $a_k\in (0,1)$，设 ${\gamma }_{k+1}=(1-a_k){\gamma }_k+a_k\mu$
   2.2 选择 $y_k=\frac{a_k{\gamma }_k{v}_k+{\gamma }_{k+1}{x}_k}{{\gamma }_k+a_K\mu }$，并计算 $f(y_k)$和 $\nabla f(y_k)$；
   2.3 找到 $x_{k+1}=y_k-\frac{1}{L}\nabla f(y_k)$；
   2.4 设 $v_{k+1}=\frac{(1-a_k){\gamma }_k{v}_k+a_k\mu y_k-a_k\nabla f(y_k)}{{\gamma }_{k+1}}$

根据上面算法中的等式，可以尝试消去一些变量。首先消去 $v_k$。
v k + 1 = 1 γ k + 1 { 1 − a k a k [ ( γ k + a k μ ) y k − γ k + 1 x k ] + a k μ y k − a k ∇ f ( y k ) } = 1 γ k + 1 { ( 1 − a k ) γ k a k y k + μ y k } − 1 − a k a k x k − a k γ k + 1 ∇ f ( y k ) = x k + 1 a k ( y k − x k ) − 1 a k L ∇ f ( y k ) = x k + 1 a k [ ( y k − x k ) − 1 L ∇ f ( y k ) ] = x k + 1 a k ( x k + 1 − x k ) \begin{aligned} &v_{k+1}=\frac{1}{\gamma_{k+1}}\{\frac{1-a_k}{a_k}[(\gamma_k+a_k\mu)y_k-\gamma_{k+1}x_k]+a_k\mu y_k-a_k\nabla f(y_k)\}\\ &=\frac{1}{\gamma_{k+1}}\{\frac{(1-a_k)\gamma_k}{a_k}y_k+\mu y_k\}-\frac{1-a_k}{a_k}x_k-\frac{a_k}{\gamma_{k+1}}\nabla f(y_k)\\ &=x_k+\frac{1}{a_k}(y_k-x_k)-\frac{1}{a_kL}\nabla f(y_k)\\ &=x_k+\frac{1}{a_k}[(y_k-x_k)-\frac{1}{L}\nabla f(y_k)]\\ &=x_k+\frac{1}{a_k}(x_{k+1}-x_k) \end{aligned} ​vk+1​=γk+1​1​{ak​1−ak​​[(γk​+ak​μ)yk​−γk+1​xk​]+ak​μyk​−ak​∇f(yk​)}=γk+1​1​{ak​(1−ak​)γk​​yk​+μyk​}−ak​1−ak​​xk​−γk+1​ak​​∇f(yk​)=xk​+ak​1​(yk​−xk​)−ak​L1​∇f(yk​)=xk​+ak​1​[(yk​−xk​)−L1​∇f(yk​)]=xk​+ak​1​(xk+1​−xk​)​
因此，$$\begin{gathered} y_{k+1}=\frac{1}{{\gamma }_{k+1}+a_{k+1}\mu }(a_{k+1}{\gamma }_{k+1}{v}_{k+1}+{\gamma }_{k+2}{x}_{k+1}) \\ =x_{k+1}+\frac{a_{k+1}{\gamma }_{k+1}(v_{k+1}-x_{k+1})}{{\gamma }_{k+1}+a_{k+1}\mu } \\ =x_{k+1}+{\beta }_k(x_{k+1}-x_k) \end{gathered}$$，其中 ${\beta }_k=\frac{a_{k+1}{\gamma }_{k+1}(1-a_k)}{a_k({\gamma }_{k+1}+a_{k+1}\mu )}$.
接着消去 { v k } \{v_k\} {vk​}，使用等式 $a_k^{2}L=(1-a_k){\gamma }_k+\mu a_k\equiv {\gamma }_{k+1}$。因此，${\beta }_k=\frac{a_{k+1}{\gamma }_{k+1}(1-a_k)}{a_k({\gamma }_{k+1}+a_{k+1}\mu )}=\frac{a_{k+1}{\gamma }_{k+1}(1-a_k)}{a_k({\gamma }_{k+1}+a_{k+1}^{2}L-(1-a_{k+1}){\gamma }_{k+1})}=\frac{{\gamma }_{k+1}(1-a_k)}{a_k({\gamma }_{k+1}+a_{k+1}L)}=\frac{a_k(1-a_k)}{a_k^2+a_{k+1}}$.
因此，上面的算法过程可以写成下面的形式：

1. 选择 $x_0\in {\mathbb{R}}^n$且 $a_0\in (0,1)$。设置 $y_0=x_0$, $q=\frac{\mu }{L}$
2. 迭代 $k$次
   2.1 计算 $f(y_k)$和 $\nabla f(y_k)$，设 $x_{k+1}=y_k-\frac{1}{L}\nabla f(y_k)$
   2.2 从等式 $a_{k+1}^2=(1-a_{k+1})a_k^2+q{a}_{k+1}$计算 $a_{k+1}\in (0,1)$，且设置 ${\beta }_k=\frac{a_k(1-a_k)}{a_k^2+a_{k+1}}$，$y_{k+1}=x_{k+1}+{\beta }_k(x_{k+1}-x_k)$.

定理：如果在上面的过程中，$a_0\ge \sqrt{\frac{\mu }{L}}$，那么 f ( x k ) − f ∗ ≤ min ⁡ { ( 1 − μ L ) k , 4 L ( 2 L + k γ 0 ) 2 } ⋅ [ f ( x 0 − f ∗ + γ 0 2 ∥ x 0 − x ∗ ∥ 2 ) ] f(x_k)-f^*\leq \min\{(1-\sqrt{\frac{\mu}{L}})^k, \frac{4L}{(2\sqrt{L}+k\sqrt{\gamma_0})^2}\}\cdot[f(x_0-f^*+\frac{\gamma_0}{2}\|x_0-x^*\|^2)] f(xk​)−f∗≤min{(1−Lμ​ ​)k,(2L ​+kγ0​ ​)24L​}⋅[f(x0​−f∗+2γ0​​∥x0​−x∗∥2)]，其中 ${\gamma }_0=\frac{a_0(a_{0}L-\mu )}{1-a_0}$。

如果选择 $a_0=\sqrt{\frac{\mu }{L}}$对应于选择 ${\gamma }_0=\mu$，那么算法里面 $a_k=\sqrt{\frac{\mu }{L}},{\beta }_k=\frac{\sqrt{L}-\sqrt{\mu }}{\sqrt{L}-\sqrt{\mu }}$。那么算法里面，迭代过程中，$x_{k+1}=y_k-\frac{1}{L}\nabla f(y_k)$，$y_{k+1}=x_{k+1}+\frac{\sqrt{L}-\sqrt{\mu }}{\sqrt{L}+\sqrt{\mu }}(x_{k+1}-x_k)$. 这种方案就是 Nesterov在1983年提出的。论文链接
此外还有 Polyak 在 1964年提出的heavy-ball方案论文链接：
$x_{t+1}=x_t-a\nabla f(x_t)+\beta (x_t-x_{t-1})$，取$a=\frac{4}{\sqrt{L}+\sqrt{\mu }},\beta =(\frac{\sqrt{L}-\sqrt{\mu }}{\sqrt{L}+\sqrt{\mu }}{)}^2$。迭代中的更新规则为 $x_{t+1}=y_t-\frac{4}{(\sqrt{L}+\sqrt{\mu }{)}^2}f(y_t),y_{t+1}=x_{t+1}+(\frac{\sqrt{L}-\sqrt{\mu }}{\sqrt{L}+\sqrt{\mu }}{)}^2(x_{t+1}-x_t)$.
Beck 和 Teboulle 在 2009年提出的 FISTA方案论文链接：
$x_{t+1}=y_t-\frac{1}{L}\nabla f(y_t),y_{t+1}=x_{t+1}+\frac{{\lambda }_t-1}{{\lambda }_t}(x_{t+1}-x_t)$. 并且对于所有的 $t\ge 0$，${\lambda }_0=0,{\lambda }_{t+1}=\frac{1+\sqrt{1+4{\lambda }_t^2}}{2}$