强凸光滑性质及其收敛性

\section{L-Smooth and Stongly Convex}
\subsection{L-Smooth}
Definition(L-smoothness): Let $L\ge 0$. A function $f:\mathbb{E}\to (-\infty ,\infty ]$ is said to be $L$ smooth over a set $D\subseteq \mathbb{E}$ if it is differentiable over $D$ and satisfies
$$\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }\le L\Vert \mathbf{x}-\mathbf{y}\Vert \text{ for all }\mathbf{x},\mathbf{y}\in D$$
The constant $L$ is called the smoothness parameter, and $\Vert \cdot {\Vert }_{\ast }$ denotes the dual norm on the dual space ${\mathbb{E}}^{\ast }$.

根据这个定义，我们可以为满足L-Smooth性质的函数出一个上界，这个上界是一个二次函数，这 个性质经常出现在收敛性的推导中出现，被称为Descent Lemma。
Lemma (descent lemma): Let $f:\mathbb{E}\to (-\infty ,\infty ]$ be an $L$-smooth function $(L\ge 0)$ over a given convex set $D$. Then for any $\mathbf{x},\mathbf{y}\in D$,
$$f(\mathbf{y})\le f(\mathbf{x})+⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩+\frac{L}{2}\Vert \mathbf{x}-\mathbf{y}{\Vert }^2$$

Intuition 1: 通过观察图片，可以得发现原函数的最小会小于上界函数的最小 (对 $(b)$ 左右两边同 时取最小)
$$\begin{array}{rl}f\left({\mathbf{x}}^{\ast }\right)& =\underset{\mathbf{y}\in {\mathbb{R}}^n}{\min }f(\mathbf{y})\le \underset{\mathbf{y}\in {\mathbb{R}}^n}{\min }\left\{f(\mathbf{x})+⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩+\frac{L}{2}\Vert \mathbf{y}-\mathbf{x}{\Vert }^2\right\}\\ & =\underset{r\ge 0}{\min }\left\{f(\mathbf{x})-r\Vert \nabla f(\mathbf{x}){\Vert }_{\ast }+\frac{L}{2}{r}^2\right\}\\ & =f(\mathbf{x})-\frac{1}{2L}\Vert \nabla f(\mathbf{x}){\Vert }_{\ast }^2\end{array}$$

(1)表明 $f(\mathbf{x})-f\left({\mathbf{x}}^{\ast }\right)\ge \frac{1}{2L}\Vert \nabla f(\mathbf{x}){\Vert }_{\ast }^2$, 也就是说：

• 当某个点的函数值与其最小值之间的差距小的时候，梯度不一定小；
• 而梯度小的时候, 函数值与最小值的差距会比较小。
  注意到上面这个不等式对任意满足L-Smooth 的函数都成立，考虑函数 $\varphi (y)=f(y)-⟨\nabla f\left(x_0\right),y⟩$ ，这也是一个L-Smooth 函数，因此我们代入 $(1)$ ，可以得到另一 个很常用的等价于 $(a)$ 的L-Smooth 性质如下:
  $$f(\mathbf{y})-f(\mathbf{x})-⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩\ge \frac{1}{2L}\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }^2$$
  另外，对 $(a)$ 使用generalized Cauchy-Schwarz inequality，
  $$⟨\nabla f(\mathbf{x})-\nabla f(\mathbf{y}),\mathbf{x}-\mathbf{y}⟩\le L\Vert \mathbf{x}-\mathbf{y}{\Vert }^2$$
  交换 $(c)$ 中 $\mathbf{x},\mathbf{y}$ 的位置可以得到如下关系:
  $$⟨\nabla f(\mathbf{x})-\nabla f(\mathbf{y}),\mathbf{x}-\mathbf{y}⟩\ge \frac{1}{L}\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }^2$$
  这五个性质 $(a)-(e)$ 是等价的，在上面的推导中给出了 $(a)\to (b)\to (c)\to (e)$,很明显 $(e)$ 可 以通过generalized Cauchy-Schwarz inequality得到。事实上我们可以把 $(d)$ 揷在 $(a)(b)$ 之间形 成逻辑上的闭环 $(a)\to (d)\to (b)\to (c)\to (e)\to (a)$ 。

\subsection{Stongly Convex}

将在L-Smooth 部分得到的所有不等式变换方向并且将 $L$ 替换为 $\mu$ 就得到了Strongly Convex 函 数满足的性质:
一阶条件:
$$\begin{array}{rl}f(\mathbf{y})-f(\mathbf{x})-⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩& \ge \frac{\mu }{2}\Vert \mathbf{x}-\mathbf{y}{\Vert }^2\\ ⟨\nabla f(\mathbf{x})-\nabla f(\mathbf{y}),\mathbf{x}-\mathbf{y}⟩& \ge \mu \Vert \mathbf{x}-\mathbf{y}{\Vert }^2\\ \Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }& \ge \mu \Vert \mathbf{x}-\mathbf{y}\Vert \\ f(\mathbf{y})-f(\mathbf{x})-⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩& \le \frac{1}{2\mu }\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }^2\\ ⟨\nabla f(\mathbf{x})-\nabla f(\mathbf{y}),\mathbf{x}-\mathbf{y}⟩& \le \frac{1}{\mu }\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }^2\end{array}$$

\subsection{Polyak-Lojasiewicz 不等式}
另外我们还会有 $f(\mathbf{x})-f\left({\mathbf{x}}^{\ast }\right)\le \frac{1}{2\mu }\Vert \nabla f(\mathbf{x}){\Vert }_{\ast }^2$,
也就是说：当某个点的梯度小的时候，函数值与最小值的差距会比较小，有时我们把梯度的范数当 作终止的判断条件。
我们称 $f(\mathbf{x})-f\left({\mathbf{x}}^{\ast }\right)\le \frac{1}{2\mu }\Vert \nabla f(\mathbf{x}){\Vert }_{\ast }^2$ 为
polyak-Lojasiewicz $(\mathrm{PL})$ 条件。注意到满足强凸条件 的函数会满足PL条件，反之则不成立。

如果满足以下条件，则称函数满足 Polyak-Lojasiewicz 不等式:
$$\Vert \nabla f(x){\Vert }^2\ge \mu \left(f(x)-f^{\ast }\right)\forall x$$
其中 $f^{\ast }$ 是最小函数值。
这意味着梯度范数的增长速度至少与函数值远离最优函数值的速度一样快。
此外，这意味着 $f(x)$ 的每个稳态点都是全局最小值。

梯度下降
梯度下降更新只是朝着负梯度的方向迈出了一步：
$$x_{k+1}=x_k-\eta \nabla f\left(x_k\right)$$
我们现在准备证明在 PL不等式下梯度下降的收敛性，即Karimi等人的定理1。
重新排列梯度下降更新会有所不同
$$x_{k+1}-x_k=-\eta \nabla f\left(x_k\right)$$
在二次上界条件下使用梯度下降更新规则（来自梯度的Lipschitz连续性），我们得 到
$$\begin{array}{rl}f\left(x_{k+1}\right)& \le f\left(x_k\right)+⟨\nabla f\left(x_k\right),x_{k+1}-x_k⟩+\frac{L}{2}{\Vert x_{k+1}-x_k\Vert }^2\\ & =f\left(x_k\right)+⟨\nabla f\left(x_k\right),-\eta \nabla f\left(x_k\right)⟩+\frac{L}{2}{\Vert -\eta \nabla f\left(x_k\right)\Vert }^2\\ & =f\left(x_k\right)-\eta {\Vert \nabla f\left(x_k\right)\Vert }^2+{\eta }^2\left(\frac{L}{2}\right){\Vert \nabla f\left(x_k\right)\Vert }^2\\ & =f\left(x_k\right)+\left(-\eta +{\eta }^2\left(\frac{L}{2}\right)\right){\Vert \nabla f\left(x_k\right)\Vert }^2\\ \to f\left(x_{k+1}\right)-f\left(x_k\right)& \le \left(-\eta +{\eta }^2\left(\frac{L}{2}\right)\right){\Vert \nabla f\left(x_k\right)\Vert }^2\end{array}$$
如果选择步长以使右侧的系数为负，则使用 Polyak-Lojasiewicz 不等式可以得到

如果选择步长以使右侧的系数为负，则使用 Polyak-Lojasiewicz 不等式可以得到
$$f\left(x_{k+1}\right)-f\left(x_k\right)\le \left(-\eta +\frac{{\eta }^{2}L}{2}\right)\mu \left(f\left(x_k\right)-f^{\ast }\right)$$
允许步长的范围为 $[0,2/L]$ ，步长为 $1/L$ 时达到的最佳速率。在此选择下，我们获
$$f\left(x_{k+1}\right)-f\left(x_k\right)\le -\frac{\mu }{2L}\left(f\left(x_k\right)-f^{\ast }\right)$$
将 $f\left(x_{-}k\right)-f^{\ast }$ 添加到两侧得到
$$f\left(x_{k+1}\right)-f^{\ast }\le \left(1-\frac{\mu }{2L}\right)\left(f\left(x_k\right)-f^{\ast }\right)$$
除以 $f\left(x\_k\right)-f^{\ast }$ 得到线性 (几何) 收敛率
$$\frac{f\left(x_{k+1}\right)-f^{\ast }}{f\left(x_k\right)-f^{\ast }}\le 1-\frac{\mu }{2L}$$
这表明当前函数值和最小值之间的差异至少与几何级数的减尔速度一样快，其速率 由PL和Lipschitz常数的比率决定。