凸优化简介11

梯度下降加速

考虑一个无约束的最小化问题：$\underset{x\in {\mathbb{R}}^N}{\min }f(x)$，其中函数 $f$是强凸的：$f\in {\mathfrak{F}}_{\mu ,L}^{1,1}({\mathbb{R}}^n),\mu \ge 0$，并且该函数的梯度是 Lipschitz连续的。
梯度方法构造了一个松弛序列 $f(x_{k+1})\le f(x_k)$，但是，在某些情况下，最佳的方案不依赖于这样的松弛方案。
Nesterov 在1983年发现了对光滑函数的加速梯度下降方法，并在2004年和2007年将加速方法分别推广到非光滑目标函数和组合函数。Nesterov的方法可以归结为一种称为 估计序列的方法。

定义：一对序列 { ϕ k ( x ) } k = 0 ∞ \{\phi_k(x)\}_{k=0}^{\infty} { ϕk​(x)}k=0∞​和 { λ k } k = 0 ∞ \{\lambda_k\}_{k=0}^{\infty} { λk​}k=0∞​，${\lambda }_k\ge 0$称为函数 $f(x)$的一个估计序列，如果 ${\lambda }_k\to 0$。且对于任意的 $x\in {\mathbb{R}}^n$和所有的$k\ge 0$，有：${\varphi }_k(x)\le (1-{\lambda }_k)f(x)+{\lambda }_k{\varphi }_0(x)$.

引理1：如果对于某个序列 { x k } \{x_k\} { xk​}，我们有 $f(x_k)\le {\varphi }_k^{\ast }\equiv \underset{x\in {\mathbb{R}}^n}{\min }{\varphi }_k(x)$，那么 $f(x_k)-f^{\ast }\le {\lambda }_k[{\varphi }_0(x^{\ast })-f^{\ast }]\to 0$

证明：根据已知条件以及上面的定义得到 $$\begin{gathered} f(x_k)\le {\varphi }_k^{\ast }=\underset{x\in {\mathbb{R}}^n}{\min }{\varphi }_k(x)\le \underset{x\in {\mathbb{R}}^n}{\min }[(1-{\lambda }_k)f(x)+{\lambda }_k{\varphi }_0(x)] \\ \le (1-{\lambda }_k)f(x^{\ast })+{\lambda }_k{\varphi }_0(x^{\ast }) \end{gathered}$$.
应用上面的引理可以得到序列 { λ k } \{\lambda_k\} { λk​}的收敛率，但是如何构造估计序列以及如何满足引理。

引理2：假设 1. $f\in {\mathfrak{F}}_{\mu ,L}^{1,1}({\mathbb{R}}^n)$;
2. ${\varphi }_0(x)$是一个在 ${\mathbb{R}}^n$上的任意函数；
3. { y k } k = 0 ∞ \{y_k\}_{k=0}^{\infty} { yk​}k=0∞​是一个在 ${\mathbb{R}}^n$上的任意序列；
4. { a k } k = 0 ∞ \{a_k\}_{k=0}^{\infty} { ak​}k=0∞​：$a_k\in (0,1),\sum _{k=0}^{\infty }{a}_k=\infty$
5. ${\lambda }_0=1$
那么，序列对 { ϕ k ( x ) } k = 0 ∞ , { λ k } k = 0 ∞ \{\phi_k(x)\}_{k=0}^{\infty},\{\lambda_k\}^{\infty}_{k=0} { ϕk​(x)}k=0∞​,{ λk​}k=0∞​ 由$k$递归定义：${\lambda }_{k+1}=(1-a_k){\lambda }_k$, ${\varphi }_{k+1}(x)=(1-a_k){\varphi }_k(x)+a_k[f(y_k)+⟨\nabla f(y_k),x-y_k⟩+\frac{\mu }{2}\Vert x-y_k{\Vert }^2]$是一个估计序列

证明：使用归纳法，${\varphi }_0(x)\le (1-{\lambda }_0)f(x)+{\lambda }_0{\varphi }_0(x)\equiv {\varphi }_0$