无约束优化问题收敛性分析

\section{无约束梯度方法 收敛速度分析}
\subsection{strongly convex and smooth}
$$\begin{array}{rl}{\mathrm{minimize}}_x& f(\mathbf{x})\\ \text{ subject to }& \mathbf{x}\in {\mathbb{R}}^n\end{array}$$
全文假设目标函数 $f(\mathbf{x})$ 满足L-Smooth 条件，也就是说我们有
emma (descent lemma): Let $f:\mathbb{E}\to (-\infty ,\infty ]$ be an $L$-smooth function $(L\ge 0)$ over a given convex set $D$. Then for any $\mathbf{x},\mathbf{y}\in D$,
$$f(\mathbf{y})\le f(\mathbf{x})+⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩+\frac{L}{2}\Vert \mathbf{x}-\mathbf{y}{\Vert }^2$$
$$\begin{array}{rl}f\left({\mathbf{x}}^{t+1}\right)& \le \underset{\mathbf{y}\in {\mathbb{R}}^n}{\min }\left\{f\left({\mathbf{x}}^t\right)+⟨\nabla f\left({\mathbf{x}}^t\right),\mathbf{y}-{\mathbf{x}}^t⟩+\frac{L}{2}{\Vert \mathbf{y}-{\mathbf{x}}^t\Vert }^2\right\}\\ & =f\left({\mathbf{x}}^t\right)-\frac{1}{2L}{\Vert \nabla f\left({\mathbf{x}}^t\right)\Vert }_2^2\end{array}$$
这表明目标函数是非增的序列。

$$\mathbf{y}={\mathbf{x}}^t-\frac{1}{L}\nabla f\left({\mathbf{x}}^t\right)$$
目标函数满足 strongly convex and smooth
当函数还满足Strongly Convex 时，
$$\begin{array}{rl}f\left({\mathbf{x}}^{\ast }\right)& \ge \underset{\mathbf{y}\in {\mathbb{R}}^n}{\min }\left\{f\left({\mathbf{x}}^t\right)+⟨\nabla f\left({\mathbf{x}}^t\right),\mathbf{y}-{\mathbf{x}}^t⟩+\frac{\mu }{2}{\Vert \mathbf{y}-{\mathbf{x}}^t\Vert }^2\right\}\\ & =f\left({\mathbf{x}}^t\right)-\frac{1}{2\mu }{\Vert \nabla f\left({\mathbf{x}}^t\right)\Vert }_2^2\end{array}$$
我们有 $2\mu \left(f\left({\mathbf{x}}^t\right)-f\left({\mathbf{x}}^{\ast }\right)\right)\le {\Vert \nabla f\left({\mathbf{x}}^t\right)\Vert }_2^2$ ， 这也被成为 polyak-Lojasiewicz $(\mathrm{PL})$ 条件。注 意到满足强凸条件的函数会满足PL条件，反之则不一定成立。
把 $(2)$ 代入 (1), 我们有
$$\begin{array}{rl}f\left({\mathbf{x}}^{t+1}\right)-f\left({\mathbf{x}}^{\ast }\right)& \le f\left({\mathbf{x}}^t\right)-f\left({\mathbf{x}}^{\ast }\right)\frac{1}{2L}{\Vert \nabla f\left({\mathbf{x}}^t\right)\Vert }_2^2\\ & \le f\left({\mathbf{x}}^t\right)-\frac{\mu }{L}\left(f\left({\mathbf{x}}^t\right)-f\left({\mathbf{x}}^{\ast }\right)\right)\\ & \le \left(1-\frac{\mu }{L}\right)\left(f\left({\mathbf{x}}^t\right)-f\left({\mathbf{x}}^{\ast }\right)\right)\end{array}$$
迭代地利用上面的关系我们可以得到 $f\left({\mathbf{x}}^t\right)-f\left({\mathbf{x}}^{\ast }\right)\le {\left(1-\frac{\mu }{L}\right)}^t\left(f\left({\mathbf{x}}^0\right)-f\left({\mathbf{x}}^{\ast }\right)\right)$.

\subsection{convex and smooth}

下面我们证明 claim 1
$$\begin{array}{rl}& {\Vert {\mathbf{x}}^{t+1}-{\mathbf{x}}^{\ast }\Vert }_2^2={\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }-\frac{1}{L}\nabla f\left({\mathbf{x}}^t\right)\Vert }_2^2\\ & ={\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }\Vert }_2^2-\underset{\ge \frac{2}{L^2}{\Vert \nabla f\left({\mathbf{x}}^t\right)-\nabla f\left({\mathbf{x}}^{\ast }\right)\Vert }_2^2(\mathrm{smooth}+\mathrm{cvx})}{\underbrace{\frac{2}{L}⟨{\mathbf{x}}^t-{\mathbf{x}}^{\ast },\nabla f\left({\mathbf{x}}^t\right)-\nabla f\left({\mathbf{x}}^{\ast }\right)⟩}}+\frac{1}{L^2}{\Vert \nabla f\left({\mathbf{x}}^t\right)\Vert }_2^2\\ & \le {\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }\Vert }_2^2-\frac{2}{L^2}{\Vert \nabla f\left({\mathbf{x}}^t\right)-\nabla f\left({\mathbf{x}}^{\ast }\right)\Vert }_2^2+\frac{1}{L^2}{\Vert \nabla f\left({\mathbf{x}}^t\right)-\nabla f\left({\mathbf{x}}^{\ast }\right)\Vert }_2^2\\ & ={\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }\Vert }_2^2-\frac{1}{L^2}\Vert \nabla f\left({\mathbf{x}}^t\right)-\underset{=0}{\underbrace{\nabla f\left({\mathbf{x}}^{\ast }\right)}}{\Vert }_2^2\end{array}$$
另一个简单的思路
$$\begin{array}{rl}& {\Vert {\mathbf{x}}^{t+1}-{\mathbf{x}}^{\ast }\Vert }_2^2={\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }-\eta \nabla f\left({\mathbf{x}}^t\right)\Vert }_2^2\\ & ={\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }\Vert }_2^2-\underset{\ge 2\eta \left(f\left({\mathbf{x}}_t\right)-f\left({\mathbf{x}}_{\ast }\right)\right)(\text{ smooth }+\mathrm{cvx})}{\underbrace{2\eta ⟨{\mathbf{x}}^t-{\mathbf{x}}^{\ast },\nabla f\left({\mathbf{x}}^t\right)⟩}}+{\eta }^2{\Vert \nabla f\left({\mathbf{x}}^t\right)\Vert }_2^2\\ & \le {\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }\Vert }_2^2-2\eta \left(f\left({\mathbf{x}}_t\right)-f\left({\mathbf{x}}_{\ast }\right)\right)+{\eta }^2\underset{\le 2L\left(f\left({\mathbf{x}}_t\right)-f\left({\mathbf{x}}_{\ast }\right)\right)}{\underbrace{{\Vert \nabla f\left({\mathbf{x}}^t\right)\Vert }_2^2}}\\ & ={\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }\Vert }_2^2-\left(2\eta -2L{\eta }^2\right)\left(f\left({\mathbf{x}}_t\right)-f\left({\mathbf{x}}_{\ast }\right)\right)\end{array}$$

As a result, we obtain
$$f\left({\mathbf{x}}_t\right)-f\left({\mathbf{x}}_{\ast }\right)\le \frac{1}{2\eta -2L{\eta }^2}\left({\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }\Vert }_2^2-{\Vert {\mathbf{x}}^{t+1}-{\mathbf{x}}^{\ast }\Vert }_2^2\right).$$
Let $\eta =\frac{1}{2L}$. Summing up from 0 to $T-1$, we obtain
$$\frac{1}{T}\sum _{t=0}^{T-1}\left(f\left({\mathbf{x}}_t\right)-f\left({\mathbf{x}}_{\ast }\right)\right)\le \frac{4L{\Vert {\mathbf{x}}_0-{\mathbf{x}}^{\ast }\Vert }_2^2}{T}$$

• 再紧一点 *
  $$\begin{array}{rl}& {\Vert {\mathbf{x}}^{t+1}-{\mathbf{x}}^{\ast }\Vert }_2^2={\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }-\eta \nabla f\left({\mathbf{x}}^t\right)\Vert }_2^2\\ & ={\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }\Vert }_2^2-\underset{\ge 2\eta \left(f\left({\mathbf{x}}_t\right)-f\left({\mathbf{x}}_{\ast }\right)+\frac{1}{2L}{\Vert \nabla f\left({\mathbf{x}}_t\right)\Vert }^2\right)(\text{ smooth }+\mathrm{cvx})}{\underbrace{2\eta ⟨{\mathbf{x}}^t-{\mathbf{x}}^{\ast },\nabla f\left({\mathbf{x}}^t\right)⟩}}+{\eta }^2{\Vert \nabla f\left({\mathbf{x}}^t\right)\Vert }_2^2\\ & \le {\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }\Vert }_2^2-2\eta \left(f\left({\mathbf{x}}_t\right)-f\left({\mathbf{x}}_{\ast }\right)\right)-\left(\frac{\eta }{L}-{\eta }^2\right)\underbrace{{\Vert \nabla f\left({\mathbf{x}}^t\right)\Vert }_2^2}\\ & \stackrel{\eta =\frac{1}{L}}{=}{\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }\Vert }_2^2-\frac{2}{L}\left(f\left({\mathbf{x}}_t\right)-f\left({\mathbf{x}}_{\ast }\right)\right)\end{array}$$
  因此，我们有
  $$f\left({\mathbf{x}}_t\right)-f\left({\mathbf{x}}_{\ast }\right)\le \frac{L}{2}\left({\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }\Vert }_2^2-{\Vert {\mathbf{x}}^{t+1}-{\mathbf{x}}^{\ast }\Vert }_2^2\right).$$
  Summing up from 0 to $T-1$, we obtain
  $$\frac{1}{T}\sum _{t=0}^{T-1}\left(f\left({\mathbf{x}}_t\right)-f\left({\mathbf{x}}_{\ast }\right)\right)\le \frac{L{\Vert {\mathbf{x}}_0-{\mathbf{x}}^{\ast }\Vert }_2^2}{2T}$$
  \subsection{smooth and nonconvex}

我们不能期望找到有效的全局最优解。假设我们对任何 (近似) Stationary Point都满意。这意 味着我们的目标仅仅是找到一个要点 $x$ 满足 $\Vert \nabla f(\mathbf{x}){\Vert }_2\le \epsilon$ (called $\epsilon$-approximate stationary point )
$$\frac{1}{2L}{\Vert \nabla f\left({\mathbf{x}}^k\right)\Vert }_2^2\le f\left({\mathbf{x}}^k\right)-f\left({\mathbf{x}}^{k+1}\right),\forall k$$
求和 from $k=0$ to $k=t-1$ :
$$\begin{array}{rl}\frac{1}{2L}\sum _{k=t_0}^{t-1}{\Vert \nabla f\left({\mathbf{x}}^k\right)\Vert }_2^2& \le \sum _{k=0}^{t-1}\left(f\left({\mathbf{x}}^k\right)-f\left({\mathbf{x}}^{k+1}\right)\right)=f\left({\mathbf{x}}^0\right)-f\left({\mathbf{x}}^t\right)\\ & \le f\left({\mathbf{x}}^0\right)-f\left({\mathbf{x}}^{\ast }\right)\\ ⟹& \underset{0\le k<t}{\min }{\Vert \nabla f\left({\mathbf{x}}^k\right)\Vert }_2\le \sqrt{\frac{2L\left(f\left({\mathbf{x}}^0\right)-f\left({\mathbf{x}}^{\ast }\right)\right)}{t}}\end{array}$$
\subsection{Regularity Condition}
From another perspective
$$\begin{array}{rl}{\Vert {\mathbf{x}}^{t+1}-{\mathbf{x}}^{\ast }\Vert }_2^2& ={\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }-\frac{1}{L}\nabla f\left({\mathbf{x}}^t\right)\Vert }_2^2\\ & ={\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }\Vert }_2^2+\frac{1}{L^2}{\Vert \nabla f\left({\mathbf{x}}^t\right)\Vert }_2^2-\frac{2}{L}⟨{\mathbf{x}}^t-{\mathbf{x}}^{\ast },\nabla f\left({\mathbf{x}}^t\right)⟩\\ & \le {\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }\Vert }_2^2-\frac{\mu }{L}{\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }\Vert }_2^2\\ & =\left(1-\frac{\mu }{L}\right){\Vert {\mathbf{x}}^t-{\mathbf{x}}^{\ast }\Vert }_2^2\end{array}$$
这样我们同样可以得到linear convergence rate, 为了让 (i) 成立，我们需要
$$⟨\nabla f(\mathbf{x}),\mathbf{x}-{\mathbf{x}}^{\ast }⟩\ge \frac{\mu }{2}{\Vert \mathbf{x}-{\mathbf{x}}^{\ast }\Vert }_2^2+\frac{1}{2L}\Vert \nabla f(\mathbf{x}){\Vert }_2^2,\forall \mathbf{x}$$
这被称为 Regularity Condition，可以隐约感觉到这个条件是强凸性和光滑性组合的结果，这表 明这个条件会比强凸性和光滑性弱。下面给出证明:
$$\begin{array}{rl}& 0\le f\left({\mathbf{x}}^{+}\right)-f\left({\mathbf{x}}^{\ast }\right)=f\left({\mathbf{x}}^{+}\right)-f(\mathbf{x})+f(\mathbf{x})-f\left({\mathbf{x}}^{\ast }\right)\\ & \le \underset{\text{smoothness }}{\underbrace{\nabla f(\mathbf{x}{)}^{\top }\left({\mathbf{x}}^{+}-\mathbf{x}\right)+\frac{L}{2}{\Vert {\mathbf{x}}^{+}-\mathbf{x}\Vert }_2^2}}+\underset{\text{strong convexity }}{\underbrace{\nabla f(\mathbf{x}{)}^{\top }\left(\mathbf{x}-{\mathbf{x}}^{\ast }\right)-\frac{\mu }{2}{\Vert \mathbf{x}-{\mathbf{x}}^{\ast }\Vert }_2^2}}\\ & =\nabla f(\mathbf{x}{)}^{\top }\left({\mathbf{x}}^{+}-{\mathbf{x}}^{\ast }\right)+\frac{1}{2L}\Vert \nabla f(\mathbf{x}){\Vert }_2^2-\frac{\mu }{2}{\Vert \mathbf{x}-{\mathbf{x}}^{\ast }\Vert }_2^2\\ & =\nabla f(\mathbf{x}{)}^{\top }\left({\mathbf{x}}^{+}-\mathbf{x}+\mathbf{x}-{\mathbf{x}}^{\ast }\right)+\frac{1}{2L}\Vert \nabla f(\mathbf{x}){\Vert }_2^2-\frac{\mu }{2}{\Vert \mathbf{x}-{\mathbf{x}}^{\ast }\Vert }_2^2\\ & =\nabla f(\mathbf{x}{)}^{\top }\left(\mathbf{x}-{\mathbf{x}}^{\ast }\right)-\frac{1}{2L}\Vert \nabla f(\mathbf{x}){\Vert }_2^2-\frac{\mu }{2}{\Vert \mathbf{x}-{\mathbf{x}}^{\ast }\Vert }_2^2,\\ & \end{array}$$
移项就可以得到 $(RL)$ 条件。

\subsection{Nonsmooth case}

非光滑的话，我们研究次梯度方法的收敛性。次梯度的迭代为:
$$x^{k+1}=x^k-{\alpha }_k{g}^k,g^k\in \partial f\left(x^k\right)$$
非光滑对于收敛性是及其不友好的，并且次梯度方向都不能保证是一个下降方向。在光滑的情况 下，只要 ${\alpha }_k$ 选的足够小 (取决于光滑系数 $L_g$ ），再不济也能保证每步的函数值能够下降，通常 是通过线搜索来完成。而次梯度由于不是下降方向，就没有这个性质了，也就是说不能保证单调下 降。接下来，我分两个情况来讨论收敛性: 1.Convex。2. Strongly convex。
1.1.convex case
定理1.1 (Nonsmooth + convex) 如果函数 $f$ 是凸的且是Lipschitzness的。对于迭代方法 (1.1)，步长选择策略为: ${\alpha }_k=\frac{f\left(x^k\right)-f^{\ast }}{{\Vert g^k\Vert }^2}$ 如果 $g^k\ne 0$ ，否则 ${\alpha }_k=1$ 。那么我们有:

1. ${\Vert x^{k+1}-x^{\ast }\Vert }^2\le {\Vert x^k-x^{\ast }\Vert }^2$
2. $f^k\to f^{\ast }$ as $k\to \infty$
3. $f_{\text{best }}^n-f^{\ast }\le \frac{L_f\Vert x^0-x^{\ast }\Vert }{\sqrt{n+1}}$ ，其中， $f_{\text{best }}^n={\min }_k\left\{f\left(x^k\right),k=1,\cdots ,n\right\}$
   Proof: 根据 (0.6)，我们令 $x=x^{\ast }$ 得到:
   $$\begin{array}{rl}{\Vert x^{k+1}-x^{\ast }\Vert }^2& ={\Vert x^k-x^{\ast }\Vert }^2-2{\alpha }_k⟨g^k,x^k-x^{\ast }⟩+{\alpha }_k^2{\Vert g^k\Vert }^2\\ & \le {\Vert x^k-x^{\ast }\Vert }^2-2{\alpha }_k\left(f\left(x^k\right)-f^{\ast }\right)+{\alpha }_k^2{\Vert g^k\Vert }^2\\ & ={\Vert x^k-x^{\ast }\Vert }^2-\frac{{\left(f\left(x^k\right)-f^{\ast }\right)}^2}{{\Vert g^k\Vert }^2}\end{array}$$
   第一个不等式用了凸性，第二个等式用了步长代入，第二个不等式用到了函数的Lipschitzness。 从上式可以得出定理中第一条满足。然后我们对上式做累加
   $$\begin{array}{rl}\frac{1}{L_f^2}\sum _{k=0}^n{\left(f\left(x^k\right)-f^{\ast }\right)}^2& \le \sum _{k=0}^n\left\{{\Vert x^k-x^{\ast }\Vert }^2-{\Vert x^{k+1}-x^{\ast }\Vert }^2\right\}\\ & ={\Vert x^0-x^{\ast }\Vert }^2-{\Vert x^{n+1}-x^{\ast }\Vert }^2\end{array}$$
   系数移一下:
   $$\sum _{k=0}^n{\left(f\left(x^k\right)-f^{\ast }\right)}^2\le L_f^2{\Vert x^0-x^{\ast }\Vert }^2$$
   根据右边有界，我们得到 $f^k\to f^{\ast }$ as $k\to \infty$ 。最后
   $$(n+1){\left(f_{best}^k-f^{\ast }\right)}^2\le \sum _{k=0}^n{\left(f\left(x^k\right)-f^{\ast }\right)}^2\le L_f^2{\Vert x^0-x^{\ast }\Vert }^2$$
   移项开根号便得到了定理第三部分。证毕
   Remark：这个步长的选择叫做 “Polyak’ s stepsize”，这个步长里面涉及到了函数的最优值， 这在实际运算是不被允许的，除非那种我们事先知道最优值的问题（求最优解 $x^{\ast }$ 满足 $f\left(x^{\ast }\right)=f^{\ast }$ ) ; 另外还有其他的步长策略，我就不说了，证明类似。