First Order Methods in Optimization Ch5. Smoothness and Strong Convexity

第五章: 光滑性与强凸性

1. $L$-光滑性

定义1 ($L$-光滑性) 设$L\ge 0$. 我们称函数$f:\mathbb{E}\to (-\infty ,\infty ]$在$D\subset \mathbb{E}$上是$L$-光滑的, 若它在$D$上可微且满足$$\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }\le L\Vert \mathbf{x}-\mathbf{y}\Vert ,\forall \mathbf{x},\mathbf{y}\in D.$$常数$L$称作是光滑参数 (smoothness parameter). 从定义我们看出$L$是与所选的范数有关的. 因此我们有时会刻意地说成, 在范数$\Vert \cdot \Vert$下的光滑参数.

显然由可微的定义, 若$f$在集合$D\subset \mathbb{E}$上$L$-光滑, 则必有$D\subset \mathrm{i}\mathrm{n}\mathrm{t}(\mathrm{d}\mathrm{o}\mathrm{m}f)$; 若函数在全空间$\mathbb{E}$上$L$-光滑, 则我们就直接称其为$L$-光滑函数. 在许多其他的文献中, $D$上的$L$-光滑函数也常被称作“Lipschitz常数为$L$的梯度Lipschitz连续函数”. 我们记$D$上的$L$-光滑函数全体为$C_L^{1,1}(D)$. 当$D=\mathbb{E}$, 就简写为$C_L^{1,1}$. 进一步, 记$$C^{1,1}=\left\{f:\exists L\ge 0,\text{s.t. }f\in C_L^{1,1}\right\}.$$由$L$-光滑性的定义, 显然有$C_{L_1}^{1,1}\subset C_{L_2}^{1,1},L_2\ge L_1$. 因此对某一给定函数, 使其$L$-光滑的参数$L$不止一个. 这些$L$的全体组成的集合显然有下界$0$, 从而必定有下确界. 但是定出这一给定函数的最小光滑参数则是一件不平凡的事, 也是一件有趣的事.

例1 (二次函数的光滑性) 考虑函数$f:{\mathbb{R}}^n\to \mathbb{R}$定义为$f(\mathbf{x})=\frac{1}{2}{\mathbf{x}}^T\mathbf{A}\mathbf{x}+{\mathbf{b}}^T\mathbf{x}+c$, 其中$\mathbf{A}\in {\mathbb{S}}^n,\mathbf{b}\in {\mathbb{R}}^n,c\in \mathbb{R}$. 假定${\mathbb{R}}^n$上赋以了${\ell }_p$-范数($1\le p\le \infty$). 则对$\forall \mathbf{x},\mathbf{y}\in {\mathbb{R}}^n$,$$\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_q=\Vert \mathbf{A}\mathbf{x}-\mathbf{A}\mathbf{y}{\Vert }_q\le \Vert A{\Vert }_{p,q}\Vert \mathbf{x}-\mathbf{y}{\Vert }_p,$$¹这里$q\in [1,\infty ]:\frac{1}{p}+\frac{1}{q}=1$. 于是我们得到$f$是$\Vert \mathbf{A}{\Vert }_{p,q}$-光滑的. 下面我们证明$\Vert \mathbf{A}{\Vert }_{p,q}$是$f$的最小光滑参数. 为此只需证明对任一使$f$ $L$-光滑的$L$都有$\Vert \mathbf{A}{\Vert }_{p,q}\le L$. 取向量$\tilde{\mathbf{x}}:\Vert \tilde{\mathbf{x}}{\Vert }_p=1,\Vert \mathbf{A}\tilde{\mathbf{x}}{\Vert }_q=\Vert \mathbf{A}{\Vert }_{p,q}$². 于是$$\Vert \mathbf{A}{\Vert }_{p,q}=\Vert \mathbf{A}\tilde{\mathbf{x}}{\Vert }_q=\Vert \nabla f(\tilde{\mathbf{x}})-\nabla f(0){\Vert }_q\le L\Vert \tilde{\mathbf{x}}-0{\Vert }_p=L.$$

例2 (线性函数的$0$-光滑性) 设$f:\mathbb{E}\to \mathbb{R}$定义为$f(\mathbf{x})=⟨\mathbf{b},\mathbf{x}⟩+c$, 其中$\mathbf{b}\in {\mathbb{E}}^{\ast },c\in \mathbb{R}$. 对$\forall \mathbf{x},\mathbf{y}\in \mathbb{E}$, $$\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }=\Vert \mathbf{b}-\mathbf{b}{\Vert }_{\ast }=0\le 0\Vert \mathbf{x}-\mathbf{y}\Vert .$$从而线性函数都是$0$-光滑的. $0$显然也是它们的最小光滑参数. 注意这一结论对任何范数都成立.

下面的例3与例4要用到正交投影算子的严格非增大性质(firm nonexpansiveness)与非增大性质(nonexpansiveness). 我们在此仅将其列出. 在下一章中我们将证明更一般化的结论.

定理1 设$\mathbb{E}$为欧式空间, $C\subset \mathbb{E}$为一非空闭凸集. 于是
(i) (严格非增大性) 对$\forall \mathbf{v},\mathbf{w}\in \mathbb{E}$,$$⟨P_C(\mathbf{v})-P_C(\mathbf{w}),\mathbf{v}-\mathbf{w}⟩\ge \Vert P_C(\mathbf{v})-P_C(\mathbf{w}){\Vert }^2.$$(ii) (非增大性) 对$\forall \mathbf{v},\mathbf{w}\in \mathbb{E}$,$$\Vert P_C(\mathbf{v})-P_C(\mathbf{w})\Vert \le \Vert \mathbf{v}-\mathbf{w}\Vert .$$

例3 ($\frac{1}{2}{d}_C^2$的$1$-光滑性) 设$\mathbb{E}$为欧式空间, $C\subset \mathbb{E}$为一非空闭凸集. 考虑函数${\phi }_C(\mathbf{x})=\frac{1}{2}{d}_C^2(\mathbf{x})$. 由第三章例9, ${\phi }_C$在全空间上可微且$\nabla {\phi }_C(\mathbf{x})=\mathbf{x}-P_C(\mathbf{x})$. 下面证明${\phi }_C$是$1$-光滑的. 对$\forall \mathbf{x},\mathbf{y}\in \mathbb{E}$,$$\begin{array}{rl}\Vert \nabla {\phi }_C(\mathbf{x})-\nabla {\phi }_C(\mathbf{y}){\Vert }^2& =\Vert \mathbf{x}-\mathbf{y}-P_C(\mathbf{x})+P_C(\mathbf{y}){\Vert }^2\\ & =\Vert \mathbf{x}-\mathbf{y}{\Vert }^2-2⟨P_C(\mathbf{x})-P_C(\mathbf{y}),\mathbf{x}-\mathbf{y}⟩+\Vert P_C(\mathbf{x})-P_C(\mathbf{y}){\Vert }^2\\ & \le \Vert \mathbf{x}-\mathbf{y}{\Vert }^2-2\Vert P_C(\mathbf{x})-P_C(\mathbf{y}){\Vert }^2+\Vert P_C(\mathbf{x})-P_C(\mathbf{y}){\Vert }^2(\because 严格非增大性)\\ & =\Vert \mathbf{x}-\mathbf{y}{\Vert }^2-\Vert P_C(\mathbf{x})-P_C(\mathbf{y}){\Vert }^2\\ & =\Vert \mathbf{x}-\mathbf{y}{\Vert }^2.\end{array}$$

例4 ($\frac{1}{2}\Vert \cdot {\Vert }^2-\frac{1}{2}{d}_C^2$的$1$-光滑性) 设$\mathbb{E}$为欧式空间, $C\subset \mathbb{E}$为一非空闭凸集. 考虑函数${\psi }_C(\mathbf{x})=\frac{1}{2}\Vert \mathbf{x}{\Vert }^2-\frac{1}{2}{d}_C^2(\mathbf{x})$. 由第二章的例5, ${\psi }_C$是凸函数³. 由上例, $\frac{1}{2}{d}_C^2(\mathbf{x})$可微, 且梯度为$\mathbf{x}-P_C(\mathbf{x})$. 因此$$\nabla {\psi }_C(\mathbf{x})=\mathbf{x}-(\mathbf{x}-P_C(\mathbf{x}))=P_C(\mathbf{x}).$$于是由投影算子的非增大性, 对$\forall \mathbf{x},\mathbf{y}\in \mathbb{E}$,$$\Vert \nabla {\psi }_C(\mathbf{x})-\nabla {\psi }_C(\mathbf{y})\Vert =\Vert P_C(\mathbf{x})-P_C(\mathbf{y})\Vert \le \Vert \mathbf{x}-\mathbf{y}\Vert .$$

1.1 下降引理

下面的下降引理告诉我们, $L$-光滑函数以某一二次函数为上界.

引理1 (下降引理) 设$f:\mathbb{E}\to (-\infty ,\infty ]$为在一给定凸集$D$上的$L$-光滑函数 $(L\ge 0)$. 则对$\forall \mathbf{x},\mathbf{y}\in D$,$$f(\mathbf{y})\le f(\mathbf{x})+⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩+\frac{L}{2}\Vert \mathbf{x}-\mathbf{y}{\Vert }^2.$$⁴
证明: 根据微积分基本定理, $$f(\mathbf{y})-f(\mathbf{x})={\int }_0^1⟨\nabla f(\mathbf{x}+t(\mathbf{y}-\mathbf{x})),\mathbf{y}-\mathbf{x}⟩\mathrm{d}t.$$因此, $$f(\mathbf{y})-f(\mathbf{x})=⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩+{\int }_0^1⟨\nabla f(\mathbf{x}+t(\mathbf{y}-\mathbf{x}))-\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩\mathrm{d}t.$$取模可得$$\begin{array}{rl}|f(\mathbf{y})-f(\mathbf{x})-⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩|& =\left|{\int }_0^1⟨\nabla f(\mathbf{x}+t(\mathbf{y}-\mathbf{x}))-\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩\mathrm{d}t\right|\\ & \le {\int }_0^1|⟨\nabla f(\mathbf{x}+t(\mathbf{y}-\mathbf{x}))-\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩|\mathrm{d}t\\ & \le {\int }_0^1\Vert \nabla f(\mathbf{x}+t(\mathbf{y}-\mathbf{x}))-\nabla f(\mathbf{x}){\Vert }_{\ast }\cdot \Vert \mathbf{y}-\mathbf{x}\Vert \mathrm{d}t\\ & \le {\int }_0^{1}tL\Vert \mathbf{y}-\mathbf{x}{\Vert }^2\mathrm{d}t\\ & =\frac{L}{2}\Vert \mathbf{y}-\mathbf{x}{\Vert }^2.\end{array}$$

1.2 $L$-光滑函数的一阶等价刻画

当$f$为凸函数⁵时, 下面的定理2给出了全空间上⁶$L$-光滑函数的几种不同的一阶等价刻画. 值得注意的是, 在这种情形下, 1.1节中的下降引理同时也是使$f$成为$L$-光滑函数的充分条件.

定理2 ($L$-光滑函数的一阶等价刻画) 设$f:\mathbb{E}\to \mathbb{R}$为一可微凸函数. 设$L>0$. 于是下面的四件事是等价的:
(i) $f$是$L$-光滑的;
(ii) $f(\mathbf{y})\le f(\mathbf{x})+⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩+\frac{L}{2}\Vert \mathbf{x}-\mathbf{y}{\Vert }^2,\forall \mathbf{x},\mathbf{y}\in \mathbb{E}$; (此即下降引理)
(iii) $f(\mathbf{y})\ge f(\mathbf{x})+⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩+\frac{1}{2L}\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }^2,\forall \mathbf{x},\mathbf{y}\in \mathbb{E}$;
(iv) $⟨\nabla f(\mathbf{x})-\nabla f(\mathbf{y}),\mathbf{x}-\mathbf{y}⟩\ge \frac{1}{L}\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }^2,\forall \mathbf{x},\mathbf{y}\in \mathbb{E}$;
(v) $f(\lambda \mathbf{x}+(1-\lambda )\mathbf{y})\ge \lambda f(\mathbf{x})+(1-\lambda )f(\mathbf{y})-\frac{L}{2}\lambda (1-\lambda )\Vert \mathbf{x}-\mathbf{y}{\Vert }^2,\forall \mathbf{x},\mathbf{y}\in \mathbb{E},\lambda \in [0,1]$.

证明: (i)$\Rightarrow$(ii): 由下降引理即可得.
(ii)$\Rightarrow$(iii): 假设(ii)成立. 注意到当$\nabla f(\mathbf{x})=\nabla f(\mathbf{y})$时(iii)显然成立. 所以下面假设$\nabla f(\mathbf{x})\ne \nabla f(\mathbf{y})$. 固定$\mathbf{x}\in \mathbb{E}$, 考虑$$g_{\mathbf{x}}(\mathbf{y})=f(\mathbf{y})-f(\mathbf{x})-⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩,\mathbf{y}\in \mathbb{E}.$$⁷可以验证$g_{\mathbf{x}}$也满足(ii). 事实上, 对$\forall \mathbf{y},\mathbf{z}\in \mathbb{E}$,$$\begin{array}{rl}{g}_{\mathbf{x}}(\mathbf{z})& =f(\mathbf{z})-f(\mathbf{x})-⟨\nabla f(\mathbf{x}),\mathbf{z}-\mathbf{x}⟩\\ & \le f(\mathbf{y})+⟨\nabla f(\mathbf{y}),\mathbf{z}-\mathbf{y}⟩+\frac{L}{2}\Vert \mathbf{z}-\mathbf{y}{\Vert }^2-f(\mathbf{x})-⟨\nabla f(\mathbf{x}),\mathbf{z}-\mathbf{x}⟩\\ & =f(\mathbf{y})-f(\mathbf{x})-⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩+⟨\nabla f(\mathbf{y})-\nabla f(\mathbf{x}),\mathbf{z}-\mathbf{y}⟩+\frac{L}{2}\Vert \mathbf{z}-\mathbf{y}{\Vert }^2\\ & =g_{\mathbf{x}}(\mathbf{y})+⟨\nabla g_{\mathbf{x}}(\mathbf{y}),\mathbf{z}-\mathbf{y}⟩+\frac{L}{2}\Vert \mathbf{z}-\mathbf{y}{\Vert }^2,\end{array}$$注意到$\nabla g_{\mathbf{x}}(\mathbf{x})=0$, 再由$g_{\mathbf{x}}$的凸性, 即得$\mathbf{x}$为$g$的极小点:$$g_{\mathbf{x}}(\mathbf{x})\le g_{\mathbf{x}}(\mathbf{z}),\forall \mathbf{z}\in \mathbb{E}.$$对$\mathbf{y}\in \mathbb{E}$, 令$\mathbf{v}\in \mathbb{E}$为满足$\Vert \mathbf{v}\Vert =1,⟨\nabla g_{\mathbf{x}}(\mathbf{y}),\mathbf{v}⟩=\Vert \nabla g_{\mathbf{x}}(\mathbf{y}){\Vert }_{\ast }$的向量. 令$$\mathbf{z}=\mathbf{y}-\frac{\Vert \nabla g_{\mathbf{x}}(\mathbf{y}){\Vert }_{\ast }}{L}\mathbf{v}$$就有$$0=g_{\mathbf{x}}(\mathbf{x})\le g_{\mathbf{x}}\left(\mathbf{y}-\frac{\Vert \nabla g_{\mathbf{x}}(\mathbf{y}){\Vert }_{\ast }}{L}\mathbf{v}\right).$$再利用$g_{\mathbf{x}}$的性质可得$$\begin{array}{rl}0& =g_{\mathbf{x}}(\mathbf{x})\\ & \le g_{\mathbf{x}}(\mathbf{y})-\frac{\Vert \nabla g_{\mathbf{x}}(\mathbf{y}){\Vert }_{\ast }}{L}⟨\nabla g_{\mathbf{x}}(\mathbf{y}),\mathbf{v}⟩+\frac{1}{2L}\Vert g_{\mathbf{x}}(\mathbf{y}){\Vert }_{\ast }^2\cdot \Vert \mathbf{v}{\Vert }^2\\ & =g_{\mathbf{x}}(\mathbf{y})-\frac{1}{2L}\Vert \nabla g_{\mathbf{x}}(\mathbf{y}){\Vert }_{\ast }^2\\ & =f(\mathbf{y})-f(\mathbf{x})-⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩-\frac{1}{2L}\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }^2,\end{array}$$这就证明了(iii).
(iii)$\Rightarrow$(iv): 假设(iii)成立, 则对$(\mathbf{x},\mathbf{y})$交替地有$$\begin{array}{rl}f(\mathbf{y})& \ge f(\mathbf{x})+⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩+\frac{1}{2L}\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }^2,\\ f(\mathbf{x})& \ge f(\mathbf{y})+⟨\nabla f(\mathbf{y}),\mathbf{x}-\mathbf{y}⟩+\frac{1}{2L}\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }^2.\end{array}$$两式相加即得(iv).
(iv)$\Rightarrow$(i): 假设(iv)成立. 不妨假设$\nabla f(\mathbf{x})\ne \nabla f(\mathbf{y})$. 由推广的Cauchy-Schwarz不等式, 对$\forall \mathbf{x},\mathbf{y}\in \mathbb{E}$,$$\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }\cdot \Vert \mathbf{x}-\mathbf{y}\Vert \ge ⟨\nabla f(\mathbf{x})-\nabla f(\mathbf{y}),\mathbf{x}-\mathbf{y}⟩\ge \frac{1}{L}\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }^2.$$两边同除$\Vert \nabla f(\mathbf{x})-\nabla f(\mathbf{y}){\Vert }_{\ast }$再同乘$L$即得(i).
至此, 我们已证明了(i),(ii),(iii)和(iv)的等价性. 为证明(v)与这四条等价, 下面我们证明(ii)$\iff$(v).
(ii)$\Rightarrow$(v): 设$\mathbf{x},\mathbf{y}\in \mathbb{E},\lambda \in [0,1]$. 记${\mathbf{x}}_{\lambda }=\lambda \mathbf{x}+(1-\lambda )\mathbf{y}$. 由(ii),$$\begin{array}{rl}f(\mathbf{x})& \le f({\mathbf{x}}_{\lambda })+⟨\nabla f({\mathbf{x}}_{\lambda }),{\mathbf{x}-\mathbf{x}}_{\lambda }⟩+\frac{L}{2}\Vert {\mathbf{x}-\mathbf{x}}_{\lambda }{\Vert }^2,\\ f(\mathbf{y})& \le f({\mathbf{x}}_{\lambda })+⟨\nabla f({\mathbf{x}}_{\lambda }),{\mathbf{y}-\mathbf{x}}_{\lambda }⟩+\frac{L}{2}\Vert {\mathbf{y}-\mathbf{x}}_{\lambda }{\Vert }^2,\end{array}$$这等同于$$\begin{array}{rl}f(\mathbf{x})& \le f({\mathbf{x}}_{\lambda })+(1-\lambda )⟨\nabla f({\mathbf{x}}_{\lambda }),\mathbf{x}-\mathbf{y}⟩+\frac{L(1-\lambda {)}^2}{2}\Vert \mathbf{x}-\mathbf{y}{\Vert }^2,\\ f(\mathbf{y})& \le f({\mathbf{x}}_{\lambda })+\lambda ⟨\nabla f({\mathbf{x}}_{\lambda }),\mathbf{y}-\mathbf{x}⟩+\frac{L{\lambda }^2}{2}\Vert \mathbf{x}-\mathbf{y}{\Vert }^2,\end{array}$$再在第一个不等式两边同乘$\lambda$, 第二个不等式两边同乘$1-\lambda$, 二者再相加即得(v).
(v)$\Rightarrow$(ii): 重新整理(v)可得$$f(\mathbf{y})\le f(\mathbf{x})+\frac{f(\mathbf{x}+(1-\lambda )(\mathbf{y}-\mathbf{x}))-f(\mathbf{x})}{1-\lambda }+\frac{L}{2}\lambda \Vert \mathbf{x}-\mathbf{y}{\Vert }^2.$$令$\lambda \to 1^{-1}$, 则推出$$f(\mathbf{y})\le f(\mathbf{x})+f^{\prime }(\mathbf{x};\mathbf{y}-\mathbf{x})+\frac{L}{2}\Vert \mathbf{x}-\mathbf{y}{\Vert }^2.$$根据第三章定理11, $f^{\prime }(\mathbf{x};\mathbf{y}-\mathbf{x})=⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩$. 即得(ii).

下面的例子需要用到多元函数的微分中值定理.

定理3 (多元函数的微分中值定理) 设$f:U\to \mathbb{R}$为开集$U\subset {\mathbb{R}}^n$上的二次连续可微函数⁸. 设$\mathbf{x}\in U,r>0$满足$B(\mathbf{x},r)\subset U$. 则对$\forall \mathbf{y}\in B(\mathbf{x},r)$, $\exists \mathbf{\xi }\in [\mathbf{x},\mathbf{y}]$⁹, 使得$$f(\mathbf{y})=f(\mathbf{x})+\nabla f(\mathbf{x}{)}^T(\mathbf{y}-\mathbf{x})+\frac{1}{2}(\mathbf{y}-\mathbf{x}{)}^T\nabla f(\mathbf{\xi })(\mathbf{y}-\mathbf{x}).$$

例5 (${\ell }_p$-范数函数平方之一半的$(p-1)$-光滑性) 考虑凸函数$f:{\mathbb{R}}^n\to \mathbb{R}$定义为$$f(\mathbf{x})=\frac{1}{2}\Vert \mathbf{x}{\Vert }_p^2=\frac{1}{2}{\left(\sum _{i=1}^n|x_i{|}^p\right)}^{\frac{2}{p}},$$这里$p\in [2,\infty )$. 下面我们证明$f$在${\ell }_p$-范数下是$(p-1)$-光滑的. 当$p=2$时, 结论成立(见例1). 因此下面假设$p>2$. 由于$f$是凸函数, 因此我们想要利用定理2去证明结论. 为此, 先计算$f$的偏导数与二阶偏导数:$$\frac{\partial f}{\partial x_i}(\mathbf{x})=\{\begin{array}{ll}\mathrm{s}\mathrm{g}\mathrm{n}(x_i)\frac{|x_i{|}^{p-1}}{\Vert \mathbf{x}{\Vert }_p^{p-2}},& \mathbf{x}\ne 0,\\ 0,& \mathbf{x}=0,\end{array}$$注意到$f$的偏导数在${\mathbb{R}}^n$上连续, 因此$f$在${\mathbb{R}}^n$上可微¹⁰. 在$\mathbf{x}\ne 0$的点处$f$有二阶偏导数:$$\frac{{\partial }^{2}f}{\partial x_i\partial x_j}(\mathbf{x})=\{\begin{array}{ll}(2-p)\mathrm{s}\mathrm{g}\mathrm{n}(x_j)\frac{|x_i{|}^{p-1}|x_j{|}^{p-1}}{\Vert \mathbf{x}{\Vert }_p^{2p-2}},& i\ne j,\\ (p-1)\frac{|x_i{|}^{p-2}}{\Vert \mathbf{x}{\Vert }_p^{p-2}}+(2-p)\frac{|x_i{|}^{2p-2}}{\Vert \mathbf{x}{\Vert }_p^{2p-2}},& i=j.\end{array}$$易知$f$的二阶偏导数在$\forall \mathbf{x}\ne 0$处是连续的. 下面我们证明$f$对$L=p-1$满足定理2的(ii). 设$\mathbf{x},\mathbf{y}\in {\mathbb{R}}^n:0\notin [\mathbf{x},\mathbf{y}]$. 于是由微分中值定理, 取$U$为包含$[\mathbf{x},\mathbf{y}]$但不包含$0$的开集, 存在$\mathbf{\xi }\in [\mathbf{x},\mathbf{y}]$, 使得$$f(\mathbf{y})=f(\mathbf{x})+\nabla f(\mathbf{x}{)}^T(\mathbf{y}-\mathbf{x})+\frac{1}{2}(\mathbf{y}-\mathbf{x}{)}^T{\nabla }^{2}f(\mathbf{\xi })(\mathbf{y}-\mathbf{x}).$$只需证${\mathbf{d}}^T{\nabla }^{2}f(\mathbf{\xi })\mathbf{d}\le (p-1)\Vert \mathbf{d}{\Vert }_p^2,\forall \mathbf{d}\in {\mathbb{R}}^n$. 由于 ∇ 2 f ( t ξ ) = ∇ 2 f ( ξ ) ,   ∀ t ∈ R ∖ { 0 } \nabla^2f(t\bm{\xi})=\nabla^2f(\bm{\xi}),\,\forall t\in\mathbb{R}\setminus\{0\} ∇2f(tξ)=∇2f(ξ),∀t∈R∖{0}, 因此我们不妨假设$\Vert \mathbf{\xi }{\Vert }_p=1$. 现对$\forall \mathbf{d}\in {\mathbb{R}}^n$,$$\begin{array}{rl}{\mathbf{d}}^T{\nabla }^{2}f(\mathbf{\xi })\mathbf{d}& =(2-p)\Vert \mathbf{\xi }{\Vert }_p^{2-2p}{\left(\sum _{i=1}^n|{\xi }_i{|}^{p-1}\mathrm{s}\mathrm{g}\mathrm{n}({\xi }_i)d_i\right)}^2+(p-1)\Vert \mathbf{\xi }{\Vert }_p^{2-p}\sum _{i=1}^n|{\xi }_i{|}^{p-2}{d}_i^2\\ & \le (p-1)\Vert \mathbf{\xi }{\Vert }_p^{2-p}\sum _{i=1}^n|{\xi }_i{|}^{p-1}{d}_i^2,\end{array}$$这里最后一个不等式是由于$p>2$. 根据Cauchy-Schwarz不等式, $$\sum _{i=1}^n|{\xi }_i{|}^{p-2}{d}_i^2\le {\left(\sum _{i=1}^n{\left(|{\xi }_i{|}^{p-2}\right)}^{\frac{p}{p-2}}\right)}^{\frac{p-2}{p}}{\left(\sum _{i=1}^n{\left(d_i^2\right)}^{\frac{p}{2}}\right)}^{\frac{2}{p}}={\left(\sum _{i=1}^n|{\xi }_i{|}^p\right)}^{\frac{p-2}{p}}{\left(\sum _{i=1}^n|d_i{|}^p\right)}^{\frac{2}{p}}=\Vert \mathbf{d}{\Vert }_p^2.$$于是, 对$\forall \mathbf{d}\in {\mathbb{R}}^n$,$${\mathbf{d}}^T{\nabla }^{2}f(\mathbf{\xi })\mathbf{d}\le (p-1)\Vert \mathbf{d}{\Vert }_p^2.$$若$0\in [\mathbf{x},\mathbf{y}]$, 则取一列 { y k } k ≥ 0 \{\mathbf{y}_k\}_{k\ge0} {yk​}k≥0​收敛到$\mathbf{y}$, 同时又有$0\notin [{\mathbf{x},\mathbf{y}}_k]$. 因此由已有的结论, 对$\forall k\ge 0$,$$f({\mathbf{y}}_k)\le f(\mathbf{x})+\nabla f(\mathbf{x}{)}^T({\mathbf{y}}_k-\mathbf{x})+\frac{p-1}{2}\Vert {\mathbf{x}-\mathbf{y}}_k{\Vert }_p^2.$$在不等式两边令$k\to \infty$并利用$f$的连续性即得证.

1.3 $L$-光滑函数的二阶等价刻画

下面考虑$\mathbb{E}={\mathbb{R}}^n$, 范数为${\ell }_p$-范数($p\ge 1$). 对${\mathbb{R}}^n$上的二次连续可微函数, 我们可通过其Hessian矩阵的范数刻画其$L$-光滑性.

定理4 ($L$-光滑性与Hessian矩阵范数的有界性) 设$f:{\mathbb{R}}^n\to \mathbb{R}$为${\mathbb{R}}^n$上的二次连续可微函数. 对一给定$L\ge 0$, 下面两件事是等价的:
(i) $f$在${\ell }_p$-范数($p\in [1,\infty ]$)下是$L$-光滑的;
(ii) $\Vert {\nabla }^{2}f(\mathbf{x}){\Vert }_{p,q}\le L,\forall \mathbf{x}\in {\mathbb{R}}^n$, 这里$q\in [1,\infty ]:\frac{1}{p}+\frac{1}{q}=1$.

证明: (ii)$\Rightarrow$(i): 假设$\Vert {\nabla }^{2}f(\mathbf{x}){\Vert }_{p,q}\le L,\forall \mathbf{x}\in {\mathbb{R}}^n$. 由微积分基本定理, 对$\forall \mathbf{x},\mathbf{y}\in {\mathbb{R}}^n$,$$\begin{array}{rl}\nabla f(\mathbf{y})& =\nabla f(\mathbf{x})+{\int }_0^1{\nabla }^{2}f(\mathbf{x}+t(\mathbf{y}-\mathbf{x}))(\mathbf{y}-\mathbf{x})\mathrm{d}t\\ & =\nabla f(\mathbf{x})+\left({\int }_0^1{\nabla }^{2}f(\mathbf{x}+t(\mathbf{y}-\mathbf{x}))\mathrm{d}t\right)\cdot (\mathbf{y}-\mathbf{x}).\end{array}$$于是$$\begin{array}{rl}\Vert \nabla f(\mathbf{y})-\nabla f(\mathbf{x}){\Vert }_q& ={\Vert \left({\int }_0^1{\nabla }^{2}f(\mathbf{x}+t(\mathbf{y}-\mathbf{x}))\mathrm{d}t\right)\cdot (\mathbf{y}-\mathbf{x})\Vert }_q\\ & \le {\Vert {\int }_0^1{\nabla }^{2}f(\mathbf{x}+t(\mathbf{y}-\mathbf{x}))\mathrm{d}t\Vert }_{p,q}\cdot \Vert \mathbf{y}-\mathbf{x}{\Vert }_p\\ & \le \left({\int }_0^1{\Vert {\nabla }^{2}f(\mathbf{x}+t(\mathbf{y}-\mathbf{x}))\Vert }_{p,q}\mathrm{d}t\right)\cdot \Vert \mathbf{y}-\mathbf{x}{\Vert }_p\\ & \le L\Vert \mathbf{y}-\mathbf{x}{\Vert }_p,\end{array}$$这就证明了(i).
(i)$\Rightarrow$(ii): 假设$f$在${\ell }_p$-范数下$L$-光滑. 再次由微积分基本定理, 对$\forall \mathbf{d}\in {\mathbb{R}}^n,\alpha >0$,$$\nabla f(\mathbf{x}+\alpha \mathbf{d})-\nabla f(\mathbf{x})={\int }_0^{\alpha }{\nabla }^{2}f(\mathbf{x}+t\mathbf{d})\mathbf{d}\mathrm{d}t.$$因此,$${\Vert \left({\int }_0^{\alpha }{\nabla }^{2}f(\mathbf{x}+t\mathbf{d})\mathrm{d}t\right)\mathbf{d}\Vert }_q\le \alpha L\Vert \mathbf{d}{\Vert }_p.$$同除$\alpha$并令$\alpha \to 0^{+}$, 就有$$\Vert {\nabla }^{2}f(\mathbf{x})\mathbf{d}{\Vert }_q\le L\Vert \mathbf{d}{\Vert }_p,\forall \mathbf{d}\in {\mathbb{R}}^n,$$这表明$\Vert {\nabla }^{2}f(\mathbf{x}){\Vert }_{p,q}\le L,\forall \mathbf{x}\in {\mathbb{R}}^n$.

定理4的直接推论是, 对于二次连续可微的凸函数, 在${\ell }_2$-范数下的$L$-光滑性等价于其Hessian矩阵的最大特征值小于等于$L$.

推论1 设$f:{\mathbb{R}}^n\to \mathbb{R}$为${\mathbb{R}}^n$上二次连续可微的凸函数. 则$f$在${\ell }_2$-范数下$L$-光滑等价于${\lambda }_{\max }\left({\nabla }^{2}f(\mathbf{x})\right)\le L,\forall \mathbf{x}\in {\mathbb{R}}^n$.

证明: 因$f$是凸函数, 所以${\nabla }^{2}f(\mathbf{x})⪰0,\forall \mathbf{x}\in {\mathbb{R}}^n$. 此时$$\Vert {\nabla }^{2}f(\mathbf{x}){\Vert }_{2,2}=\sqrt{{\lambda }_{\max }\left(({\nabla }^{2}f(\mathbf{x}){)}^2\right)}={\lambda }_{\max }\left({\nabla }^{2}f(\mathbf{x})\right).$$再结合定理4, 就得证.

例6 ($\sqrt{1+\Vert \cdot {\Vert }_2^2}$在${\ell }_2$-范数下的$1$-光滑性) 设$f:{\mathbb{R}}^n\to \mathbb{R}$为如下的凸函数$$f(\mathbf{x})=\sqrt{1+\Vert \mathbf{x}{\Vert }_2^2}.$$对$\forall \mathbf{x}\in {\mathbb{R}}^n$,$$\nabla f(\mathbf{x})=\frac{\mathbf{x}}{\sqrt{\Vert \mathbf{x}{\Vert }_2^2+1}},{\nabla }^{2}f(\mathbf{x})=\frac{1}{\sqrt{\Vert \mathbf{x}{\Vert }_2^2+1}}\mathbf{I}-\frac{{\mathbf{x}\mathbf{x}}^T}{{\left(\Vert \mathbf{x}{\Vert }_2^2+1\right)}^{3/2}}⪯\mathbf{I}.$$从而有${\lambda }_{\max }\left({\nabla }^{2}f(\mathbf{x})\right)\le 1,\forall \mathbf{x}\in {\mathbb{R}}^n$. 根据推论1, 可知$f$在${\ell }_2$-范数下$1$-光滑.

例7 (对数求和指数函数在${\ell }_2$-,${\ell }_{\infty }$-范数下的$1$-光滑性) 考虑对数求和指数函数$f:{\mathbb{R}}^n\to \mathbb{R}$:$$f(\mathbf{x})=\log (e^{x_1}+e^{x_2}+\cdots +e^{x_n}).$$首先考虑${\ell }_2$-范数. $f$的一阶偏导数为$$\frac{\partial f}{\partial x_i}(\mathbf{x})=\frac{e^{x_i}}{{\sum }_{k=1}^n{e}^{x_k}},i=1,2,\dots ,n,$$二阶偏导数为$$\frac{{\partial }^{2}f}{\partial x_i\partial x_j}(\mathbf{x})=\{\begin{array}{ll}-\frac{e^{x_i}{e}^{x_j}}{{\left({\sum }_{k=1}^n{e}^{x_k}\right)}^2},& i\ne j,\\ -\frac{e^{2x_i}}{{\left({\sum }_{k=1}^n{e}^{x_k}\right)}^2}+\frac{e^{x_i}}{{\sum }_{k=1}^n{e}^{x_k}},& i=j.\end{array}$$于是Hessian矩阵可以写作$${\nabla }^{2}f(\mathbf{x})=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{w})-{\mathbf{w}\mathbf{w}}^T\succ 0,$$这里$w_i=\frac{e^{x_i}}{{\sum }_{k=1}^n{e}^{x_k}}$. 注意到对$\forall \mathbf{x}\in {\mathbb{R}}^n$,$${\nabla }^{2}f(\mathbf{x})=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{w})-{\mathbf{w}\mathbf{w}}^T⪯\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{w})⪯\mathbf{I},$$因此${\lambda }_{\max }\left({\nabla }^{2}f(\mathbf{x})\right)\le 1,\forall \mathbf{x}\in {\mathbb{R}}^n$. 再因$f$的Hessian矩阵正定, 因此$f$是凸函数, 由推论1即得$f$在${\ell }_2$-范数下是$1$-光滑的.

下证${\ell }_{\infty }$-范数的情形. 我们首先证明对$\forall \mathbf{d}\in {\mathbb{R}}^n$,$${\mathbf{d}}^T{\nabla }^{2}f(\mathbf{x})\mathbf{d}\le \Vert \mathbf{d}{\Vert }_{\infty }^2.$$事实上, $$\begin{array}{rl}{\mathbf{d}}^T{\nabla }^{2}f(\mathbf{x})\mathbf{d}& ={\mathbf{d}}^T\left(\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{w})-{\mathbf{w}\mathbf{w}}^T\right)\mathbf{d}={\mathbf{d}}^T\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{w})\mathbf{d}-{\left({\mathbf{w}}^T\mathbf{d}\right)}^2\\ & \le {\mathbf{d}}^T\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(\mathbf{w})\mathbf{d}=\sum _{i=1}^n{w}_i{d}_i^2\\ & \le \Vert \mathbf{d}{\Vert }_{\infty }^2\sum _{i=1}^n{w}_i=\Vert \mathbf{d}{\Vert }_{\infty }^2.\end{array}$$因$f$在${\mathbb{R}}^n$上二次连续可微, 于是由微分中值定理, 对$\forall \mathbf{x},\mathbf{y}\in {\mathbb{R}}^n$, $\exists \mathbf{\xi }\in [\mathbf{x},\mathbf{y}]$, 使得$$f(\mathbf{y})=f(\mathbf{x})+\nabla f(\mathbf{x}{)}^T(\mathbf{y}-\mathbf{x})+\frac{1}{2}(\mathbf{y}-\mathbf{x}{)}^T{\nabla }^{2}f(\mathbf{\xi })(\mathbf{y}-\mathbf{x}).$$结合上面的不等式, 有$$f(\mathbf{y})\le f(\mathbf{x})+\nabla f(\mathbf{x}{)}^T(\mathbf{y}-\mathbf{x})+\frac{1}{2}\Vert \mathbf{y}-\mathbf{x}{\Vert }_{\infty }^2,$$再由定理2的(ii)即得$f$在${\ell }_{\infty }$-范数下的$1$-光滑性.

1.4 光滑参数计算小结

下表总结了本节讨论的函数在不同范数下的光滑参数. 其中最后一个函数的讨论放在下一章.

$f(\mathbf{x})$	$\mathrm{d}\mathrm{o}\mathrm{m}(f)$	光滑参数	范数	例号
$\frac{1}{2}{\mathbf{x}}^T\mathbf{A}\mathbf{x}+{\mathbf{b}}^T\mathbf{x}+c(\mathbf{A}\in {\mathbb{S}}^n,\mathbf{b}\in {\mathbb{R}}^n,c\in \mathbb{R})$	${\mathbb{R}}^n$	$\Vert \mathbf{A}{\Vert }_{p,q}$	${\ell }_p$	1
$⟨\mathbf{b},\mathbf{x}⟩+c(\mathbf{b}\in {\mathbb{E}}^{\ast },c\in \mathbb{R})$	$\mathbb{E}$	$0$	任何范数	2
$\frac{1}{2}\Vert \mathbf{x}{\Vert }_p^2,p\in [2,\infty )$	${\mathbb{R}}^n$	$p-1$	${\ell }_p$	5
$\sqrt{1+\Vert \mathbf{x}{\Vert }_2^2}$	${\mathbb{R}}^n$	$1$	${\ell }_2$	6
$\log ({\sum }_{i=1}^n{e}^{x_i})$	${\mathbb{R}}^n$	$1$	${\ell }_2,{\ell }_{\infty }$	7
$\frac{1}{2}{d}_C^2(\mathbf{x})(\varnothing \ne C\subset \mathbb{E}$闭凸$)$	$\mathbb{E}$	$1$	欧式范数	3
$\frac{1}{2}\Vert \mathbf{x}{\Vert }^2-\frac{1}{2}{d}_C^2(\mathbf{x})(\varnothing \ne C\subset \mathbb{E}$闭凸$)$	$\mathbb{E}$	$1$	欧式范数	4
$H_{\mu }(\mathbf{x})(\mu >0)$	$\mathbb{E}$	$\frac{1}{\mu }$	欧式范数	第六章例28

2. $\sigma$-强凸性

定义2 (强凸性) 对一给定$\sigma >0$, 我们称函数$f:\mathbb{E}\to (-\infty ,\infty ]$是$\sigma$-强凸的, 若$\mathrm{d}\mathrm{o}\mathrm{m}(f)$是凸集且对$\forall \mathbf{x},\mathbf{y}\in \mathrm{d}\mathrm{o}\mathrm{m}(f),\lambda \in [0,1]$, 均有$$f(\lambda \mathbf{x}+(1-\lambda )\mathbf{y})\le \lambda f(\mathbf{x})+(1-\lambda )f(\mathbf{y})-\frac{\sigma }{2}\lambda (1-\lambda )\Vert \mathbf{x}-\mathbf{y}{\Vert }^2.$$称$\sigma$为强凸参数. 有时我们也称$f$对于参数$\sigma$强凸.

需要说明的是, 强凸参数$\sigma$也依赖于定义所用的范数. 因此我们有时也会刻意地说成, 在范数$\Vert \cdot \Vert$下的强凸参数. 由于如上定义的强凸函数的有效域是凸的, 而且显然有Jensen不等式成立, 所以强凸函数必定是凸函数.

当$\mathbb{E}$是欧式空间时, 我们可给出等价于强凸性的一个简单性质.

定理5 设$\mathbb{E}$为欧式空间¹¹. 则$f:\mathbb{E}\to (-\infty ,\infty ]$是$\sigma$-强凸函数$(\sigma >0)$当且仅当$f(\cdot )-\frac{\sigma }{2}\Vert \cdot {\Vert }^2$是凸函数.

证明: 函数$g(\mathbf{x})\equiv f(\mathbf{x})-\frac{\sigma }{2}\Vert \mathbf{x}{\Vert }^2$是凸函数当且仅当其有效域$\mathrm{d}\mathrm{o}\mathrm{m}(g)=\mathrm{d}\mathrm{o}\mathrm{m}(f)$是凸集, 且对$\forall \mathbf{x},\mathbf{y}\in \mathrm{d}\mathrm{o}\mathrm{m}(f),\lambda \in [0,1]$,$$g(\lambda \mathbf{x}+(1-\lambda )\mathbf{y})\le \lambda g(\mathbf{x})+(1-\lambda )g(\mathbf{y}).$$这等价于$$f(\lambda \mathbf{x}+(1-\lambda )\mathbf{y})\le \lambda f(\mathbf{x})+(1-\lambda )f(\mathbf{y})+\frac{\sigma }{2}[\Vert \lambda \mathbf{x}+(1-\lambda )\mathbf{y}{\Vert }^2-\lambda \Vert \mathbf{x}{\Vert }^2-(1-\lambda )\Vert \mathbf{y}{\Vert }^2].$$由于$\mathbb{E}$是欧式空间, 所以$$\Vert \lambda \mathbf{x}+(1-\lambda )\mathbf{y}{\Vert }^2-\lambda \Vert \mathbf{x}{\Vert }^2-(1-\lambda )\Vert \mathbf{y}{\Vert }^2=-\lambda (1-\lambda )\Vert \mathbf{x}-\mathbf{y}{\Vert }^2,$$代入上面的不等式即可得证.

另外, $\sigma$-强凸性也有类似于$L$-光滑性的单调性, 即若函数$f$是${\sigma }_1$-强凸的(${\sigma }_1>0$), 则对$\forall {\sigma }_2\in (0,{\sigma }_1)$, 它必是${\sigma }_2$-强凸的. 对应地, 定出一给定函数的最大强凸参数则也是一件不平凡的事, 也是一件有趣的事.

例8 (二次函数的强凸性) 假设$\mathbb{E}={\mathbb{R}}^n$赋${\ell }_2$-范数, 考虑二次函数$f:{\mathbb{R}}^n\to \mathbb{R}$定义为$$f(\mathbf{x})=\frac{1}{2}{\mathbf{x}}^T\mathbf{A}\mathbf{x}+{\mathbf{b}}^T\mathbf{x}+c,$$其中$\mathbf{A}\in {\mathbb{S}}^n,\mathbf{b}\in {\mathbb{R}}^n,c\in \mathbb{R}$. 由定理5, $f$是$\sigma$-强凸函数当且仅当函数$\frac{1}{2}{\mathbf{x}}^T(\mathbf{A}-\sigma \mathbf{I})\mathbf{x}+{\mathbf{b}}^T\mathbf{x}+c$是凸函数, 而这等价于$\mathbf{A}-\sigma \mathbf{I}⪰0$, 即${\lambda }_{\min }(\mathbf{A})\ge \sigma$. 因此, $f$强凸当且仅当$\mathbf{A}$正定, 且此时${\lambda }_{\min }(\mathbf{A})$就是$f$的最大强凸参数.

强凸函数与凸函数的和仍然是强凸函数, 且不改变其强凸参数.

引理1 设$f:\mathbb{E}\to (-\infty ,\infty ]$是$\sigma$-强凸函数$(\sigma >0$), $g:\mathbb{E}\to (-\infty ,\infty ]$是凸函数. 则$f+g$仍然是$\sigma$-强凸函数.

证明: 证明是直接的. 因$f,g$是凸函数, 所以$\mathrm{d}\mathrm{o}\mathrm{m}(f),\mathrm{d}\mathrm{o}\mathrm{m}(g)$都是凸集, 从而$\mathrm{d}\mathrm{o}\mathrm{m}(f+g)=\mathrm{d}\mathrm{o}\mathrm{m}(f)\cap \mathrm{d}\mathrm{o}\mathrm{m}(g)$是凸集. 设$\mathbf{x},\mathbf{y}\in \mathrm{d}\mathrm{o}\mathrm{m}(f)\cap \mathrm{d}\mathrm{o}\mathrm{m}(g),\lambda \in [0,1]$. 则由$f$的$\sigma$-强凸性, $$f(\lambda \mathbf{x}+(1-\lambda )\mathbf{y})\le \lambda f(\mathbf{x})+(1-\lambda )f(\mathbf{y})-\frac{\sigma }{2}\lambda (1-\lambda )\Vert \mathbf{x}-\mathbf{y}{\Vert }^2.$$再由$g$是凸函数, $$g(\lambda \mathbf{x}+(1-\lambda )\mathbf{y})\le \lambda g(\mathbf{x})+(1-\lambda )g(\mathbf{y}).$$两不等式相加得到$$(f+g)(\lambda \mathbf{x}+(1-\lambda )\mathbf{y})\le \lambda (f+g)(\mathbf{x})+(1-\lambda )(f+g)(\mathbf{y})-\frac{\sigma }{2}\lambda (1-\lambda )\Vert \mathbf{x}-\mathbf{y}{\Vert }^2,$$得证.

例9 ($\frac{1}{2}\Vert \cdot {\Vert }^2+{\delta }_C$的强凸性) 假设$\mathbb{E}$为欧式空间, $C\subset \mathbb{E}$为一非空凸集. 则由例8知$\frac{1}{2}\Vert \mathbf{x}{\Vert }^2$是$1$-强凸函数, 再由$C$是凸集, 从而${\delta }_C$是凸函数. 最后根据引理1, 函数$\frac{1}{2}\Vert \mathbf{x}{\Vert }^2+{\delta }_C(\mathbf{x})$就是$1$-强凸的.

我们之前给出了刻画$L$-光滑函数的一阶和二阶性质. 这里我们也给出$\sigma$-强凸的两个等价一阶性质. 它们的证明要用到下面的一维中值定理(引理2¹²)与线段原理(引理3¹³).

引理2(中值定理) 设$f:\mathbb{R}\to (-\infty ,\infty ]$为一闭凸函数, $[a,b]\subset \mathrm{d}\mathrm{o}\mathrm{m}(f)(a<b)$. 于是$$f(b)-f(a)={\int }_a^{b}h(t)\mathrm{d}t,$$其中$h:(a,b)\to \mathbb{R}$满足$h(t)\in \partial f(t),\forall t\in (a,b)$.

引理3(线段原理) 设$C$为凸集. 假设$\mathbf{x}\in \mathrm{r}\mathrm{i}(C),\mathbf{y}\in \mathrm{c}\mathrm{l}(C),\lambda \in (0,1]$. 于是$\lambda \mathbf{x}+(1-\lambda )\mathbf{y}\in \mathrm{r}\mathrm{i}(C)$.

定理6 (强凸性的一阶刻画) 设$f:\mathbb{E}\to (-\infty ,\infty ]$为一正常闭凸函数. 则对一给定$\sigma >0$, 下面三件事是等价的:
(i) $f$是$\sigma$-强凸函数;
(ii) $f(\mathbf{y})\ge f(\mathbf{x})+⟨\mathbf{g},\mathbf{y}-\mathbf{x}⟩+\frac{\sigma }{2}\Vert \mathbf{y}-\mathbf{x}{\Vert }^2,\forall \mathbf{x}\in \mathrm{d}\mathrm{o}\mathrm{m}(\partial f),\mathbf{y}\in \mathrm{d}\mathrm{o}\mathrm{m}(f),\mathbf{g}\in \partial f(\mathbf{x})$¹⁴;
(iii) $⟨{\mathbf{g}}_{\mathbf{x}}-{\mathbf{g}}_{\mathbf{y}},\mathbf{x}-\mathbf{y}⟩\ge \sigma \Vert \mathbf{x}-\mathbf{y}{\Vert }^2,\forall \mathbf{x},\mathbf{y}\in \mathrm{d}\mathrm{o}\mathrm{m}(\partial f),{\mathbf{g}}_{\mathbf{x}}\in \partial f(\mathbf{x}),{\mathbf{g}}_{\mathbf{y}}\in \partial f(\mathbf{y})$¹⁵.

证明: (ii)$\Rightarrow$(i): 假设(ii)成立. 任取$\mathbf{x},\mathbf{y}\in \mathrm{d}\mathrm{o}\mathrm{m}(f),\lambda \in (0,1),\mathbf{z}\in \mathrm{r}\mathrm{i}(\mathrm{d}\mathrm{o}\mathrm{m}(f))$. 于是对$\forall \alpha \in (0,1]$, 由线段原理, $\tilde{\mathbf{x}}=(1-\alpha )\mathbf{x}+\alpha \mathbf{z}\in \mathrm{r}\mathrm{i}(\mathrm{d}\mathrm{o}\mathrm{m}(f))$. 固定$\alpha$. 记${\mathbf{x}}_{\lambda }=\lambda \tilde{\mathbf{x}}+(1-\lambda )\mathbf{y}$, 再由线段原理, 知${\mathbf{x}}_{\lambda }\in \mathrm{r}\mathrm{i}(\mathrm{d}\mathrm{o}\mathrm{m}(f)),\forall \lambda \in (0,1)$. 因此根据第三章定理6, $\partial f({\mathbf{x}}_{\lambda })\ne \varnothing$, ${\mathbf{x}}_{\lambda }\in \mathrm{d}\mathrm{o}\mathrm{m}(\partial f)$. 取$\mathbf{g}\in \partial f({\mathbf{x}}_{\lambda })$. 由(ii),$$f(\tilde{\mathbf{x}})\ge f({\mathbf{x}}_{\lambda })+⟨\mathbf{g},\tilde{\mathbf{x}}-{\mathbf{x}}_{\lambda }⟩+\frac{\sigma }{2}\Vert \tilde{\mathbf{x}}-{\mathbf{x}}_{\lambda }{\Vert }^2,$$代入${\mathbf{x}}_{\lambda }$定义就有$$f(\tilde{\mathbf{x}})\ge f({\mathbf{x}}_{\lambda })+(1-\lambda )⟨\mathbf{g},\tilde{\mathbf{x}}-\mathbf{y}⟩+\frac{\sigma (1-\lambda {)}^2}{2}\Vert \mathbf{y}-\tilde{\mathbf{x}}{\Vert }^2.$$类似地有$$f(\mathbf{y})\ge f({\mathbf{x}}_{\lambda })+\lambda ⟨\mathbf{g},\mathbf{y}-\tilde{\mathbf{x}}⟩+\frac{\sigma {\lambda }^2}{2}\Vert \mathbf{y}-\tilde{\mathbf{x}}{\Vert }^2.$$前者两边乘以$\lambda$, 后者两边乘以$1-\lambda$, 再相加可得$$f(\lambda \tilde{\mathbf{x}}+(1-\lambda )\mathbf{y})\le \lambda f(\tilde{\mathbf{x}})+(1-\lambda )f(\mathbf{y})-\frac{\sigma \lambda (1-\lambda )}{2}\Vert \tilde{\mathbf{x}}-\mathbf{y}{\Vert }^2.$$将$\tilde{\mathbf{x}}$的定义代入上式, 可得$$g_1(\alpha )\le \lambda g_2(\alpha )+(1-\lambda )f(\mathbf{y})-\frac{\sigma \lambda (1-\lambda )}{2}\Vert (1-\alpha )\mathbf{x}+\alpha \mathbf{z}-\mathbf{y}{\Vert }^2,$$其中$g_1(\alpha )\equiv f(\lambda (1-\alpha )\mathbf{x}+(1-\lambda )\mathbf{y}+\lambda \alpha \mathbf{z})$, $g_2(\alpha )\equiv f((1-\alpha )\mathbf{x}+\alpha \mathbf{z})$. 函数$g_1,g_2$均是一维正常闭凸函数, 从而根据第二章定理10可知, 它们都在它们的有效域上连续. 令$\alpha \to 0^{+}$, 推出$$g_1(0)\le \lambda g_2(0)+(1-\lambda )f(\mathbf{y})-\frac{\sigma \lambda (1-\lambda )}{2}\Vert \mathbf{x}-\mathbf{y}{\Vert }^2.$$又因$g_1(0)=f(\lambda \mathbf{x}+(1-\lambda )\mathbf{y}),g_2(0)=f(\mathbf{x})$, 故得$f$的$\sigma$-强凸性.

(i)$\Rightarrow$(iii): 假设(i)成立. 设$\mathbf{x},\mathbf{y}\in \mathrm{d}\mathrm{o}\mathrm{m}(\partial f),{\mathbf{g}}_{\mathbf{x}}\in \partial f(\mathbf{x}),{\mathbf{g}}_{\mathbf{y}}\in \partial f(\mathbf{y})$. 任取$\lambda \in [0,1)$, 并记${\mathbf{x}}_{\lambda }=\lambda \mathbf{x}+(1-\lambda )\mathbf{y}$. 由(i),$$f({\mathbf{x}}_{\lambda })\le \lambda f(\mathbf{x})+(1-\lambda )f(\mathbf{y})-\frac{\sigma }{2}\lambda (1-\lambda )\Vert \mathbf{x}-\mathbf{y}{\Vert }^2,$$进一步有$$\frac{f({\mathbf{x}}_{\lambda })-f(\mathbf{x})}{1-\lambda }\le f(\mathbf{y})-f(\mathbf{x})-\frac{\sigma }{2}\lambda \Vert \mathbf{x}-\mathbf{y}{\Vert }^2.$$因为${\mathbf{g}}_{\mathbf{x}}\in \partial f(\mathbf{x})$, 于是$$\frac{f({\mathbf{x}}_{\lambda })-f(\mathbf{x})}{1-\lambda }\ge \frac{⟨{\mathbf{g}}_{\mathbf{x}},{\mathbf{x}}_{\lambda }-\mathbf{x}⟩}{1-\lambda }=⟨{\mathbf{g}}_{\mathbf{x}},\mathbf{y}-\mathbf{x}⟩,$$所以$$⟨{\mathbf{g}}_{\mathbf{x}},\mathbf{y}-\mathbf{x}⟩\le f(\mathbf{y})-f(\mathbf{x})-\frac{\sigma \lambda }{2}\Vert \mathbf{x}-\mathbf{y}{\Vert }^2.$$令$\lambda \to 1^{-1}$, 就有$$⟨{\mathbf{g}}_{\mathbf{x}},\mathbf{y}-\mathbf{x}⟩\le f(\mathbf{y})-f(\mathbf{x})-\frac{\sigma }{2}\Vert \mathbf{x}-\mathbf{y}{\Vert }^2.$$交换$\mathbf{x},\mathbf{y}$的位置又得到$$⟨{\mathbf{g}}_{\mathbf{y}},\mathbf{x}-\mathbf{y}⟩\le f(\mathbf{x})-f(\mathbf{y})-\frac{\sigma }{2}\Vert \mathbf{x}-\mathbf{y}{\Vert }^2.$$两式相加即得(iii).

(iii)$\Rightarrow$(ii): 假设(iii)成立. 设$\mathbf{x}\in \mathrm{d}\mathrm{o}\mathrm{m}(\partial f),\mathbf{y}\in \mathrm{d}\mathrm{o}\mathrm{m}(f),\mathbf{g}\in \partial f(\mathbf{x})$. 令$\mathbf{z}\in \mathrm{r}\mathrm{i}(\mathrm{d}\mathrm{o}\mathrm{m}(f))$, 定义$\tilde{\mathbf{y}}=(1-\alpha )\mathbf{y}+\alpha \mathbf{z},\alpha \in (0,1)$. 固定$\alpha$. 由线段原理, $\tilde{\mathbf{y}}\in \mathrm{r}\mathrm{i}(\mathrm{d}\mathrm{o}\mathrm{m}(f))$. 考虑一元函数$$\phi (\lambda )=f({\mathbf{x}}_{\lambda }),\lambda \in [0,1],$$其中${\mathbf{x}}_{\lambda }=(1-\lambda )\mathbf{x}+\lambda \tilde{\mathbf{y}}$. 对$\forall \lambda \in (0,1)$, 令${\mathbf{g}}_{\lambda }\in \partial f({\mathbf{x}}_{\lambda })$¹⁶. 于是$⟨{\mathbf{g}}_{\lambda },\tilde{\mathbf{y}}-\mathbf{x}⟩\in \partial \phi (\lambda )$, 从而由中值定理,$$f(\tilde{\mathbf{y}})-f(\mathbf{x})=\phi (1)-\phi (0)={\int }_0^1⟨{\mathbf{g}}_{\lambda },\tilde{\mathbf{y}}-\mathbf{x}⟩\mathrm{d}\lambda .$$因为$\mathbf{g}\in \partial f(\mathbf{x}),{\mathbf{g}}_{\lambda }\in \partial f({\mathbf{x}}_{\lambda })$, 根据(iii),$$⟨{\mathbf{g}}_{\lambda }-\mathbf{g},{\mathbf{x}}_{\lambda }-\mathbf{x}⟩\ge \sigma \Vert {\mathbf{x}}_{\lambda }-\mathbf{x}{\Vert }^2,$$代入${\mathbf{x}}_{\lambda }$的定义, $$⟨{\mathbf{g}}_{\lambda },\tilde{\mathbf{y}}-\mathbf{x}⟩\ge ⟨\mathbf{g},\tilde{\mathbf{y}}-\mathbf{x}⟩+\sigma \lambda \Vert \tilde{\mathbf{y}}-\mathbf{x}{\Vert }^2.$$将此代入中值定理的不等式, 就有$$f(\tilde{\mathbf{y}})-f(\mathbf{x})\ge {\int }_0^1\left[⟨\mathbf{g},\tilde{\mathbf{y}}-\mathbf{x}⟩+\sigma \lambda \Vert \tilde{\mathbf{y}}-\mathbf{x}{\Vert }^2\right]\mathrm{d}\lambda =⟨\mathbf{g},\tilde{\mathbf{y}}-\mathbf{x}⟩+\frac{\sigma }{2}\Vert \tilde{\mathbf{y}}-\mathbf{x}{\Vert }^2.$$代入$\tilde{\mathbf{y}}$的定义, 我们有对$\forall \alpha \in (0,1)$,$$f((1-\alpha )\mathbf{y}+\alpha \mathbf{z})\ge f(\mathbf{x})+⟨\mathbf{g},(1-\alpha )\mathbf{y}+\alpha \mathbf{z}-\mathbf{x}⟩+\frac{\sigma }{2}\Vert (1-\alpha )\mathbf{y}+\alpha \mathbf{z}-\mathbf{x}{\Vert }^2.$$令$\alpha \to 0^{+}$并利用一元函数$\alpha \mapsto f((1-\alpha )\mathbf{y}+\alpha \mathbf{z})$在$[0,1]$上的连续性¹⁷就得证.

下一个定理表明, 正常闭强凸函数有唯一的极小点, 且它在极小点附近满足一定的增长性质.

定理7 (闭强凸函数极小点的存在唯一性) 设$f:\mathbb{E}\to (-\infty ,\infty ]$为一正常闭$\sigma$-强凸函数($\sigma >0$). 于是
(i) $f$有唯一全局极小点;
(ii) $f(\mathbf{x})-f({\mathbf{x}}^{\ast })\ge \frac{\sigma }{2}\Vert {\mathbf{x}-\mathbf{x}}^{\ast }{\Vert }^2,\forall \mathbf{x}\in \mathrm{d}\mathrm{o}\mathrm{m}(f)$, 其中${\mathbf{x}}^{\ast }$是(i)中$f$的唯一极小点.

证明: (i) 因为$\mathrm{d}\mathrm{o}\mathrm{m}(f)$是非空凸集, 从而根据第三章定理5, 存在${\mathbf{x}}_0\in \mathrm{r}\mathrm{i}(\mathrm{d}\mathrm{o}\mathrm{m}(f))$, 从而再根据第三章定理6, $\partial f({\mathbf{x}}_0)\ne \varnothing$. 设$\mathbf{g}\in \partial f({\mathbf{x}}_0)$. 由定理6的(ii), 推出$$f(\mathbf{x})\ge f({\mathbf{x}}_0)+⟨{\mathbf{g},\mathbf{x}-\mathbf{x}}_0⟩+\frac{\sigma }{2}\Vert {\mathbf{x}-\mathbf{x}}_0{\Vert }^2,\forall \mathbf{x}\in \mathbb{E}.$$因为有限维空间中所有的范数都等价, 所以存在常数$C>0$使得$$\Vert \mathbf{y}\Vert \ge \sqrt{C}\Vert \mathbf{y}{\Vert }_a,$$其中$\Vert \cdot {\Vert }_a$是与空间内积对应的欧式范数. 因此$$f(\mathbf{x})\ge f({\mathbf{x}}_0)+⟨{\mathbf{g},\mathbf{x}-\mathbf{x}}_0⟩+\frac{C\sigma }{2}\Vert {\mathbf{x}-\mathbf{x}}_0{\Vert }_a^2,\forall \mathbf{x}\in \mathbb{E},$$配方后可得$$f(\mathbf{x})\ge f({\mathbf{x}}_0)-\frac{1}{2C\sigma }\Vert \mathbf{g}{\Vert }_a^2+\frac{C\sigma }{2}{\Vert \mathbf{x}-\left({\mathbf{x}}_0-\frac{1}{C\sigma }\mathbf{g}\right)\Vert }_a^2,\forall \mathbf{x}\in \mathbb{E}.$$特别地, $$\mathrm{L}\mathrm{e}\mathrm{v}(f,f({\mathbf{x}}_0))\subset B_{\Vert \cdot {\Vert }_a}\left[{\mathbf{x}}_0-\frac{1}{C\sigma }\mathbf{g},\frac{1}{C\sigma }\Vert \mathbf{g}{\Vert }_a\right].$$由于$f$是闭函数, 所以根据第二章定理1, 上述水平集是闭集(同时也是有界集). 因此$\mathrm{L}\mathrm{e}\mathrm{v}(f,f({\mathbf{x}}_0))$是紧集. 同时注意到${\mathbf{x}}_0\in \mathrm{L}\mathrm{e}\mathrm{v}(f,f({\mathbf{x}}_0))$. 所以$f$在$\mathrm{d}\mathrm{o}\mathrm{m}(f)$上的最优点集等同于$f$在非空紧集$\mathrm{L}\mathrm{e}\mathrm{v}(f,f({\mathbf{x}}_0))$上的最优点集. 由第二章定理4(闭函数的Weierstrass定理), 得知这样的全局极小点是存在的.
下面证明唯一性. 假设$\tilde{\mathbf{x}},\hat{\mathbf{x}}$都是$f$的全局极小点. 则$f(\tilde{\mathbf{x}})=f(\hat{\mathbf{x}})=f_{\mathrm{o}\mathrm{p}\mathrm{t}}$, 这里$f_{\mathrm{o}\mathrm{p}\mathrm{t}}$是$f$的最小值. 由$f$的$\sigma$-强凸性, $$f_{\mathrm{o}\mathrm{p}\mathrm{t}}\le f\left(\frac{1}{2}\tilde{\mathbf{x}}+\frac{1}{2}\hat{\mathbf{x}}\right)\le \frac{1}{2}f(\tilde{\mathbf{x}})+\frac{1}{2}f(\hat{\mathbf{x}})-\frac{\sigma }{8}\Vert \tilde{\mathbf{x}}-\hat{\mathbf{x}}{\Vert }^2=f_{\mathrm{o}\mathrm{p}\mathrm{t}}-\frac{\sigma }{8}\Vert \tilde{\mathbf{x}}-\hat{\mathbf{x}}{\Vert }^2,$$表明$\tilde{\mathbf{x}}=\hat{\mathbf{x}}$.

(ii) 设${\mathbf{x}}^{\ast }$是(i)中$f$的唯一全局极小点. 由Fermat最优性条件, $0\in \partial f({\mathbf{x}}^{\ast })$. 再由定理6的(ii), $$f(\mathbf{x})-f({\mathbf{x}}^{\ast })\ge ⟨0,{\mathbf{x}-\mathbf{x}}^{\ast }⟩+\frac{\sigma }{2}\Vert {\mathbf{x}-\mathbf{x}}^{\ast }{\Vert }^2=\frac{\sigma }{2}\Vert {\mathbf{x}-\mathbf{x}}^{\ast }{\Vert }^2,\forall \mathbf{x}\in \mathbb{E}.$$证毕.

3. 光滑性与强凸性的关系

3.1 共轭关联定理

光滑性与强凸性是靠共轭运算关联起来的. 粗略地讲, $f$是$\sigma$-强凸函数当且仅当$f^{\ast }$是$\frac{1}{\sigma }$-光滑函数.

定理8 (共轭关联定理) 设$\sigma >0$. 则
(i) 若$f:\mathbb{E}\to \mathbb{R}$为一$\frac{1}{\sigma }$-光滑凸函数, 则$f^{\ast }$是对偶范数$\Vert \cdot {\Vert }_{\ast }$下的$\sigma$-强凸函数¹⁸;
(ii) 若$f:\mathbb{R}\to (-\infty ,\infty ]$为一正常闭$\sigma$-强凸函数, 则$f^{\ast }:{\mathbb{E}}^{\ast }\to \mathbb{R}$是对偶范数下的$\frac{1}{\sigma }$-光滑函数.

证明: (i) 假设$f:\mathbb{E}\to \mathbb{R}$为一$\frac{1}{\sigma }$-光滑凸函数. 任取${\mathbf{y}}_1,{\mathbf{y}}_2\in \mathrm{d}\mathrm{o}\mathrm{m}(\partial f^{\ast }),{\mathbf{v}}_1\in \partial f^{\ast }({\mathbf{y}}_1),{\mathbf{v}}_2\in \partial f^{\ast }({\mathbf{y}}_2)$. 根据第四章的共轭次梯度定理以及$f$的正常闭凸性, 就有${\mathbf{y}}_1\in \partial f({\mathbf{v}}_1),{\mathbf{y}}_2\in \partial f({\mathbf{v}}_2)$, 再由$f$的可微性, 就有${\mathbf{y}}_1=\nabla f({\mathbf{v}}_1),{\mathbf{y}}_2=\nabla f({\mathbf{v}}_2)$. 由定理2(i)与(iv)的等价性, 有$$⟨{\mathbf{y}}_1-{\mathbf{y}}_2,{\mathbf{v}}_1-{\mathbf{v}}_2⟩\ge \sigma \Vert {\mathbf{y}}_1-{\mathbf{y}}_2{\Vert }_{\ast }^2.$$因为这一不等式对$\forall {\mathbf{y}}_1,{\mathbf{y}}_2\in \mathrm{d}\mathrm{o}\mathrm{m}(\partial f^{\ast }),{\mathbf{v}}_1\in \partial f^{\ast }({\mathbf{y}}_1),{\mathbf{v}}_2\in \partial f^{\ast }({\mathbf{y}}_2)$都成立, 由定理6(i)和(iii)的等价性, 就推出$f^{\ast }$是对偶范数下的$\sigma$-强凸函数.

(ii) 设$f$是正常闭$\sigma$-强凸函数. 再由共轭次梯度定理(或其推论), ∂ f ∗ ( y ) = arg ⁡ max ⁡ x ∈ E { ⟨ x , y ⟩ − f ( x ) } , ∀ y ∈ E ∗ . \partial f^*(\mathbf{y})=\arg\max_{\mathbf{x}\in\mathbb{E}}\{\langle\mathbf{x,y}\rangle-f(\mathbf{x})\},\quad\forall\mathbf{y}\in\mathbb{E}^*. ∂f∗(y)=argx∈Emax​{⟨x,y⟩−f(x)},∀y∈E∗.根据$f$的闭强凸性以及定理7的(i), 我们推出对$\forall \mathbf{y}\in {\mathbb{E}}^{\ast }$, $\partial f^{\ast }(\mathbf{y})$都是单点集. 于是根据第三章定理12, $f^{\ast }$在整个对偶空间${\mathbb{E}}^{\ast }$上就都是可微的. 现任取${\mathbf{y}}_1,{\mathbf{y}}_2\in {\mathbb{E}}^{\ast }$, 并记${\mathbf{v}}_1=\nabla f^{\ast }({\mathbf{y}}_1),{\mathbf{v}}_2=\nabla f^{\ast }({\mathbf{y}}_2)$. 再次利用共轭次梯度定理, 这些等式等价于${\mathbf{y}}_1\in \partial f({\mathbf{v}}_1),{\mathbf{y}}_2\in \partial f({\mathbf{v}}_2)$. 由定理6(i)与(iii)的等价性以及广义Cauchy-Schwarz不等式, $$\Vert {\mathbf{y}}_1-{\mathbf{y}}_2{\Vert }_{\ast }\cdot \Vert \nabla f^{\ast }({\mathbf{y}}_1)-\nabla f^{\ast }({\mathbf{y}}_2)\Vert \ge ⟨{\mathbf{y}}_1-{\mathbf{y}}_2,\nabla f^{\ast }({\mathbf{y}}_1)-\nabla f^{\ast }({\mathbf{y}}_2)⟩\ge \sigma \Vert \nabla f^{\ast }({\mathbf{y}}_1)-\nabla f^{\ast }({\mathbf{y}}_2){\Vert }^2,$$于是$$\Vert \nabla f^{\ast }({\mathbf{y}}_1)-\nabla f^{\ast }({\mathbf{y}}_2)\Vert \le \frac{1}{\sigma }\Vert {\mathbf{y}}_1-{\mathbf{y}}_2{\Vert }_{\ast }.$$

3.2 强凸函数的例子

类似于在第四章我们利用共轭运算得到了一些函数的凸性, 这里我们也可以利用共轭关联定理得到许多重要函数的强凸性.

例10 (单位单纯形上的负熵函数) 考虑函数$f:{\mathbb{R}}^n\to (-\infty ,\infty ]$定义为$$f(\mathbf{x})=\{\begin{array}{ll}{\sum }_{i=1}^n{x}_i\log x_i,& \mathbf{x}\in {\Delta }_n,\\ \infty ,& 其它.\end{array}$$根据第四章第4.10节我们知道, 此函数的共轭是对数求和指数函数$f^{\ast }(\mathbf{y})=\log \left({\sum }_{i=1}^n{e}^{y_i}\right)$(从而使凸函数), 而这在例7中已经证明了, 是在${\ell }_{\infty }$-与${\ell }_2$-范数下的$1$-光滑函数. 由共轭关联定理, $f$就是${\ell }_1$-和${\ell }_2$-范数下的$1$-强凸函数.

例11 (平方${\ell }_p$-范数, $p\in (1,2]$) 考虑函数$f:{\mathbb{R}}^n\to \mathbb{R}$定义为$f(\mathbf{x})=\frac{1}{2}\Vert \mathbf{x}{\Vert }_p^2(p\in (1,2])$. 根据第四章第4.15节, $f^{\ast }(\mathbf{y})=\frac{1}{2}\Vert \mathbf{y}{\Vert }_q^2,q\ge 2:\frac{1}{p}+\frac{1}{q}=1$. 由例5, $f^{\ast }$是${\ell }_p$-范数下的$(q-1)$-光滑函数, 再由共轭关联定理, 就有$f$是${\ell }_p$-范数下的$\frac{1}{q-1}=(p-1)$-强凸函数.

例12 (${\ell }_2$-范数下半球面函数) 考虑下半球面函数$f:{\mathbb{R}}^n\to (-\infty ,\infty ]$,$$f(\mathbf{x})=\{\begin{array}{ll}-\sqrt{1-\Vert \mathbf{x}{\Vert }_2^2},& \Vert \mathbf{x}{\Vert }_2\le 1,\\ \infty ,& 其它.\end{array}$$根据第四章第4.13节, $f$的共轭函数是$$f^{\ast }(\mathbf{y})=\sqrt{\Vert \mathbf{y}{\Vert }_2^2+1},$$而例6告诉我们$f^{\ast }$是${\ell }_2$-范数下的$1$-光滑函数. 因此由共轭关联定理, $f$是${\ell }_2$-范数下的$1$-强凸函数.

3.3 强凸参数计算小结

下表总结了本章碰到的所有强凸函数.

$f(\mathbf{x})$	$\mathrm{d}\mathrm{o}\mathrm{m}(f)$	强凸参数	范数	例号
$\frac{1}{2}{\mathbf{x}}^T\mathbf{A}\mathbf{x}+2{\mathbf{b}}^T\mathbf{x}+c(\mathbf{A}\in {\mathbb{S}}_{++}^n,\mathbf{b}\in {\mathbb{R}}^n,c\in \mathbb{R})$	${\mathbb{R}}^n$	${\lambda }_{\min }(\mathbf{A})$	${\ell }_2$	8
$\frac{1}{2}\Vert \mathbf{x}{\Vert }^2+{\delta }_C(\mathbf{x})(\varnothing \ne C\subset \mathbb{E}$凸$)$	$C$	$1$	欧式范数	9
$-\sqrt{1-\Vert \mathbf{x}{\Vert }_2^2}$	$B_{\Vert \cdot {\Vert }_2}[0,1]$	$1$	${\ell }_2$	12
$\frac{1}{2}\Vert \mathbf{x}{\Vert }_p^2(p\in (1,2])$	${\mathbb{R}}^n$	$p-1$	${\ell }_p$	11
${\sum }_{i=1}^n{x}_i\log x_i$	${\Delta }_n$	$1$	${\ell }_2$或${\ell }_1$	10

3.4 极小卷积的光滑性与可微性

本节我们将基于共轭关联定理, 证明在一定条件下, 一个凸函数和一个$L$-光滑凸函数的极小卷积仍然是$L$-光滑的. 特别地, 我们还将导出其梯度的表达式.

定理9 (极小卷积的光滑性) 设$f:\mathbb{E}\to (-\infty ,\infty ]$为一正常闭凸函数, $\omega :\mathbb{E}\to \mathbb{R}$为一$L$-光滑凸函数. 假定$f\square \omega$是实值的. 则有以下结论成立:
(i) $f\square \omega$是$L$-光滑的;
(ii) 设$\mathbf{x}\in \mathbb{E}$, 并假定$\mathbf{u}(\mathbf{x})$是 min ⁡ u { f ( u ) + ω ( x − u ) } \min_{\mathbf{u}}\{f(\mathbf{u})+\omega(\mathbf{x-u})\} umin​{f(u)+ω(x−u)}的全局极小点. 则$\nabla (f\square \omega )(\mathbf{x})=\nabla \omega (\mathbf{x}-\mathbf{u}(\mathbf{x}))$.

证明: (i) 根据第四章定理11, $$f\square \omega =(f^{\ast }+{\omega }^{\ast }{)}^{\ast }.$$又因为$f,\omega$是正常闭凸函数, 根据第四章定理1和定理2, 就推出$f^{\ast },{\omega }^{\ast }$也是正常闭凸函数. 由共轭关联定理, ${\omega }^{\ast }$是$\frac{1}{L}$-强凸函数. 因此, 由引理1, $f^{\ast }+{\omega }^{\ast }$是$\frac{1}{L}$-强凸函数. 同时作为两个闭函数的和, 它也是闭函数. 为使用共轭关联定理, 我们还需证明它是正常函数. 事实上, 根据第四章定理9, $$(f\square \omega {)}^{\ast }=f^{\ast }+{\omega }^{\ast }.$$因为极小卷积函数$f\square \omega$是正常凸函数, 因此根据第四章定理2, $f^{\ast }+{\omega }^{\ast }$是正常函数. 此时, $f^{\ast }+{\omega }^{\ast }$是正常闭$\frac{1}{L}$-强凸函数, 由共轭关联定理, 就有$f\square \omega =(f^{\ast }+{\omega }^{\ast }{)}^{\ast }$是$L$-光滑函数.

(ii) 设$\mathbf{x}\in \mathbb{E}$, $$(f\square \omega )(\mathbf{x})=f(\mathbf{u}(\mathbf{x}))+\omega (\mathbf{x}-\mathbf{u}(\mathbf{x})).$$记$\mathbf{z}\equiv \nabla \omega (\mathbf{x}-\mathbf{u}(\mathbf{x}))$. 下证$\nabla (f\square \omega )(\mathbf{x})=\mathbf{z}$. 这需要我们证明${\lim }_{\Vert \mathbf{\xi }\Vert \to 0}|\varphi (\mathbf{\xi })|/\Vert \mathbf{\xi }\Vert =0$, 其中$$\varphi (\mathbf{\xi })\equiv (f\square \omega )(\mathbf{x}+\mathbf{\xi })-(f\square \omega )(\mathbf{x})-⟨\mathbf{\xi },\mathbf{z}⟩$$. 由极小卷积的定义, $$(f\square \omega )(\mathbf{x}+\mathbf{\xi })\le f(\mathbf{u}(\mathbf{x}))+\omega (\mathbf{x}+\mathbf{\xi }-\mathbf{u}(\mathbf{x})).$$于是, $$\begin{array}{rl}\varphi (\mathbf{\xi })& =(f\square \omega )(\mathbf{x}+\mathbf{\xi })-(f\square \omega )(\mathbf{x})-⟨\mathbf{\xi },\mathbf{z}⟩\\ & \le \omega (\mathbf{x}+\mathbf{\xi }-\mathbf{u}(\mathbf{x}))-\omega (\mathbf{x}-\mathbf{u}(\mathbf{x}))-⟨\mathbf{\xi },\mathbf{z}⟩\\ & \le ⟨\mathbf{\xi },\nabla \omega (\mathbf{x}+\mathbf{\xi }-\mathbf{u}(\mathbf{x}))⟩-⟨\mathbf{\xi },\mathbf{z}⟩(\omega 的梯度不等式)\\ & =⟨\mathbf{\xi },\nabla \omega (\mathbf{x}+\mathbf{\xi }-\mathbf{u}(\mathbf{x}))-\nabla \omega (\mathbf{x}-\mathbf{u}(\mathbf{x}))⟩\\ & \le \Vert \mathbf{\xi }\Vert \cdot \Vert \nabla \omega (\mathbf{x}+\mathbf{\xi }-\mathbf{u}(\mathbf{x}))-\nabla \omega (\mathbf{x}-\mathbf{u}(\mathbf{x})){\Vert }_{\ast }\\ & \le L\Vert \mathbf{\xi }{\Vert }^2.(\omega 的L-光滑性)\end{array}$$下面仅需证明另一边: $\varphi (\mathbf{\xi })\ge -L\Vert \mathbf{\xi }{\Vert }^2$. 因为$f\square \omega$是凸函数, 从而$\varphi$也是. 因为$\varphi (0)=0$, 所以$0=\varphi (0)\le \varphi (\mathbf{\xi })+\varphi (-\mathbf{\xi }),\forall \mathbf{\xi }$. 从而$\varphi (\mathbf{\xi })\ge -\varphi (-\mathbf{\xi })\ge -L\Vert \mathbf{\xi }{\Vert }^2$.

例13 ($\frac{1}{2}{d}_C^2$的$1$-光滑性) 假设$\mathbb{E}$是欧式空间, $C\subset \mathbb{E}$为一非空闭凸集. 考虑函数${\phi }_C(\mathbf{x})=\frac{1}{2}{d}_C^2(\mathbf{x})$. 我们已经在例3中证明了它是$1$-光滑的. 这里我们再提供基于定理9的第二种证明. 因为${\phi }_C={\delta }_C\square h$, 其中$h(\mathbf{x})=\frac{1}{2}\Vert \mathbf{x}{\Vert }^2$, 且$h$为实值$1$-光滑凸函数, ${\delta }_C$为正常闭凸函数. 于是由定理9, ${\phi }_C$是$1$-光滑函数.

---

1. 这里 ∥ A ∥ p , q = max ⁡ { ∥ A x ∥ q : ∥ x ∥ p ≤ 1 } \Vert\mathbf{A}\Vert_{p,q}=\max\{\Vert\mathbf{Ax}\Vert_q:\Vert\mathbf{x}\Vert_p\le1\} ∥A∥p,q​=max{∥Ax∥q​:∥x∥p​≤1}或可参见第一章. ↩︎

2. 根据诱导范数的定义, 这样的$\tilde{\mathbf{x}}$是存在的. ↩︎

3. 事实上${\psi }_C$的凸性并不需要$C$是凸集; 但是投影算子的非增大性是需要的. ↩︎

4. 从这一不等式我们可知, 下降引理实际上还告诉我们, 如果$\nabla f(\mathbf{x})$与$\mathbf{y}-\mathbf{x}$成钝角且$\Vert \mathbf{x}-\mathbf{y}\Vert$充分小, 则当$f$从$\mathbf{x}$移动到$\mathbf{y}$时, 函数值至少下降$⟨\nabla f(\mathbf{x}),\mathbf{x}-\mathbf{y}⟩-\frac{L}{2}\Vert \mathbf{x}-\mathbf{y}{\Vert }^2$. 这也是为什么称这个引理为下降引理的原因. ↩︎

5. 定理2中关于函数凸性的假设是很关键的. 考虑$f:{\mathbb{R}}^n\to \mathbb{R}$定义为$f(\mathbf{x})=-\frac{1}{2}\Vert \mathbf{x}{\Vert }_2^2$. 它在${\ell }_2$-范数下是$1$-光滑的, 但不是$L$-光滑的($L<1$, 见例1). 但由于$f$是凹函数, 因此$f(\mathbf{y})\le f(\mathbf{x})+⟨\nabla f(\mathbf{x}),\mathbf{y}-\mathbf{x}⟩$, 这表明定理2的(ii)对$L=0$成立. 但显然$f$并不是$0$-光滑函数. ↩︎

6. 这里的“全空间”假设是为了在处理时的方便. ↩︎

7. 特别地, 我们有$\nabla g_{\mathbf{x}}(\mathbf{x})=0$, 再结合$g_{\mathbf{x}}$是凸函数, 我们推出$\mathbf{x}$是$g_{\mathbf{x}}$的全局极小点:$$g_{\mathbf{x}}(\mathbf{x})\le g_{\mathbf{x}}(\mathbf{z}),\forall \mathbf{z}\in \mathbb{E}.$$ ↩︎

8. 这里在$U$上的二次连续可微意思是, $f$的二阶偏导数均在$U$上连续. ↩︎

9. 这里$[\mathbf{x},\mathbf{y}]$是在第一章第五节中定义的闭线段, 而不是矩形盒. ↩︎

10. 这里的“可微”, 是按第三章的定义4定义的可微, 内积是点积. ↩︎

11. 这里欧式空间的假设是关键的. 例如, 考虑单位单纯形上的负熵函数$$f(\mathbf{x})=\{\begin{array}{ll}{\sum }_{i=1}^n{x}_i\log x_i,& \mathbf{x}\in {\Delta }_n,\\ \infty ,& 其它.\end{array}$$(之后我们会在例10中证明$f$是${\ell }_1$-范数下的$1$-强凸函数) 注意${\ell }_1$-范数与空间上的点积是不相容的. 这时函数$$g(\mathbf{x})=f(\mathbf{x})-\alpha \Vert \mathbf{x}{\Vert }_1^2$$对$\forall \alpha >0$都是凸函数. 这是因为在$f$的有效域上恒有$\Vert \mathbf{x}{\Vert }_1=1$. 如果直接用定理5的结论, 会推出$f$对$\forall \alpha >0$都是$\alpha$-强凸函数. 但一个函数是不可能如此的. ↩︎

12. 证明可见Jean-Baptiste Hiriart-Urruty与Claude Lemarechal的专著《Convex Analysis and Minimization Algorithms I》的第26页定理4.2.4 ↩︎

13. 证明可见R. Tyrrell Rockafellar的专著《Convex Analysis》的第45页定理6.1 ↩︎

14. 这表明$f$以一个严格凸二次函数为下界. ↩︎

15. (iii)与定理2的(iv)是十分相像的. 这也是建立光滑函数与强凸函数联系的关键. 而架起这一桥梁的是共轭运算. 这可见第四章的共轭次梯度定理. 详细的证明见定理8. ↩︎

16. 存在性来自于线段原理. ↩︎

17. 根据第二章定理10)定理10以及此一元函数闭凸. ↩︎

18. 将$f$的有效域设成全空间是为了在使用$f^{\ast }$次微分时遇到不必要的麻烦. 而$f$实值其实是保证了$f$是闭函数. ↩︎