凸函数笔记（1）

1. 凸函数基本概念

记 R ‾ : = R ∪ { ± ∞ } .  对函数  f : R n → R ‾ , 称 记\overline{\mathbb{R}}:=\mathbb{R}\cup\{\pm\infty\}.\text{ 对函数 }f:\mathbb{R}^n\to\overline{\mathbb{R}},称 记R:=R∪{±∞}. 对函数 f:Rn→R,称 d o m ( f ) : = { x ∈ R n ∣ f ( x ) < ∞ } \mathbf{dom}(f):=\{x\in\mathbb{R}^n|f(x)<\infty\} dom(f):={x∈Rn∣f(x)<∞}为$f$的有效定义域.

$\text{若 }f(x)>-\infty \text{ (}\forall x\in {\mathbb{R}}^n)\text{ 且 dom}(f)\ne \varnothing ,\text{ 则称 }f\text{ 是真的 (proper)}.$

定义 1.1（凸函数）：称函数$f:{\mathbb{R}}^n\to \overline{\mathbb{R}}$是一个凸函数，如果对于任意的$x,y\in \mathbf{dom}(f)$和$\theta \in [0,1]$，有$\theta x+(1-\theta )y\in \mathbf{dom}(f)$，且有：$$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y).$$

当不等号对任意 $x,y\in \mathbf{dom}(f),x\ne y$ 和 $0<\theta <1$ 严格成立时，我们称 $f$ 是严格凸的.若 $-f$ 是凸的 (或严格凸的), 则称 $f$ 是凹的 (或严格凹的).

定义 1.2（函数的水平集）$\text{设 }\alpha \in \mathbb{R},\text{ 函数 }f:{\mathbb{R}}^n\to \overline{\mathbb{R}}\text{ 的 }\alpha \text{-水平集定义为}$: l e v α ( f ) : = { x ∈ R n ∣ f ( x ) ≤ α } . \mathbf{lev}_\alpha(f):=\{x\in\mathbb{R}^n|f(x)\leq\alpha\}. levα​(f):={x∈Rn∣f(x)≤α}.

命题 1.1（凸函数的水平集是凸集）：$\text{若函数 }f:{\mathbb{R}}^n\to \overline{\mathbb{R}}\text{ 是凸的, 则 }\forall \alpha \in \mathbb{R},其\alpha -水平集{\mathbf{lev}}_{\alpha }(f)是凸集$

证：$\text{对任意的 }\alpha \in \mathbb{R}.\text{ 根据 }f\text{的凸性可知: }\forall x,y\in {\mathbf{lev}}_{\alpha }(f),\text{有 }x,y\in 有效域\mathbf{dom}(f),\text{从而}$$$f(\theta x+(1-\theta )y)\le （由凸函数的定义）\theta f(x)+(1-\theta )f(y)\le \theta \alpha +(1-\theta )\alpha =\alpha .$$$\text{所以,}\theta x+(1-\theta )y\in {\text{lev}}_{\alpha }(f).{\text{即 lev}}_{\alpha }(f)\text{ 是凸集}.$

注：命题 1.1 的逆命题不成立。一个函数的水平集是凸集，不能够推出这个函数是凸函数。

此外函数的凸性可以通过集合的凸性来刻画。

定义 1.3（上镜图(epigraph)）对于函数$f:{\mathbb{R}}^n\to \overline{\mathbb{R}}$，我们称${\mathbb{R}}^{n+1}$中集合$$\mathbf{epi}(f):=\{(x,t)\in {\mathbb{R}}^n\times \mathbb{R}|f(x)\le t\}$$为$f$的上镜图。

命题 1.2（函数凸性的上镜图刻画） 函数$f:{\mathbb{R}}^n\to \overline{\mathbb{R}}$是凸函数当且仅当$\mathbf{epi}(f)$是凸集.

证：对任意的 $(x,t),(y,s)\in \mathbf{epi}(f)$ 和 $\theta \in [0,1]$，利用不等式的传递性有$$\theta (x,t)+(1-\theta )(y,s)\in \mathbf{epi}(f)⟺f(\theta x+(1-\theta )y)\le \theta t+(1-\theta )s.$$由此式可以证明函数$f:{\mathbb{R}}^n\to \overline{\mathbb{R}}$是凸函数当且仅当$\mathbf{epi}(f)$是凸集.

2.可微函数的凸性判定

2.1 函数凸性的微分判据

命题 2.1：(一阶微分判据) 对函数  f : R n → R ∪ { ∞ } , 若 d o m ( f )  是一个凸集,且 f 在有效域 d o m ( f )  上处处可微 , 则  f  是凸函数当且仅当 : \text{对函数 }f:\mathbb{R}^n\to\mathbb{R}\cup\{\infty\},若\mathrm{dom}(f)\text{ 是一个凸集,且}f在有效域\mathrm{dom}(f)\text{ 上处处可微},\text{则 }f\text{ 是凸函数当且仅当}: 对函数 f:Rn→R∪{∞},若dom(f) 是一个凸集,且f在有效域dom(f) 上处处可微,则 f 是凸函数当且仅当:$$f(y)\ge f(x)+\nabla f(x{)}^T(y-x),\forall x,y\in \mathbf{dom}(f).(1)$$
证：$充分性.设(1)式成立$，$\forall x,y\in \mathbf{dom}(f),\theta \in (0,1),\text{ 记 }z=\theta y+(1-\theta )x.$

$由于有效域是凸集,\text{那么}z\in \mathbf{dom}(f)$ 且$$f(y)\ge f(z)+\nabla f(z{)}^T(y-z),f(x)\ge f(z)+\nabla f(z{)}^T(x-z).$$于是$$\begin{array}{r}\theta f(y)+(1-\theta )f(x)\ge f(z)+\nabla f(z{)}^T[\theta (y-z)+(1-\theta )(x-z)]=f(z).\end{array}$$$所以f是凸函数$

$必要性$.$设f是凸函数，那么\forall x,y\in \mathbf{dom}(f),\theta \in (0,1),有$$$f(\theta y+(1-\theta )x)\le \theta f(y)+(1-\theta )f(x)=f(x)+\theta [f(y)-f(x)].$$$由泰勒公式$$$f(\theta y+(1-\theta )x)=f(x)+\theta \nabla f(x{)}^T(y-x)+o(\theta ).$$$所以有$$$\nabla f(x{)}^T(y-x)+\frac{o(\theta )}{\theta }\le f(y)-f(x).$$$令$$\theta \to 0$,$得$$\nabla f(x{)}^T(y-x)\le f(y)-f(x)$.$即(1)成立.$

由此命题可以知道：可微函数是凸函数当且仅当其图形总是在其切平面的上方.

命题 2.2 (二阶微分判据) ： 对 函数 f : R n → R ∪ { ∞ } , 若 d o m ( f ) 是一个凸集，且 f 在 dom ⁡ ( f ) 上二阶连续可微，那么 ( 1 ) 是凸函数当且仅当：对任意 x ∈ d o m ( f ) , ∇ 2 f ( x ) 是半正定的， ( 2 ) 若 ∇ 2 f ( x ) 是正定的，则 f 是严格凸函数 . \begin{aligned}对&函数f:\mathbb{R}^n\to\mathbb{R}\cup\{\infty\},若 dom(f)是一个凸集，且f在\operatorname{dom}(f)上二阶连续可微，那么\\ &(1) 是凸函数当且仅当：对任意x\in \mathbf{dom}(f) , \nabla^2 f(x)是半正定的，\\ &(2) 若\nabla^2f(x)是正定的，则f是严格凸函数.\end{aligned} 对​函数f:Rn→R∪{∞},若dom(f)是一个凸集，且f在dom(f)上二阶连续可微，那么(1)是凸函数当且仅当：对任意x∈dom(f),∇2f(x)是半正定的，(2)若∇2f(x)是正定的，则f是严格凸函数.​

证：先证明(1)

必要性： 设 $f$是凸函数，则$\forall x\in \mathbf{dom}(f),h\in {\mathbb{R}}^n$ 以及充分小的 $\theta \in (0,1)$ 利用泰勒公式，有$$f(x+\theta h)=f(x)+\theta \nabla f(x{)}^{T}h+\frac{1}{2}{\theta }^2{h}^T{\nabla }^{2}f(x)h+o({\theta }^2).$$利用命题 2.1(一阶微分判据), 得$$\frac{1}{2}{\theta }^2{h}^T{\nabla }^{2}f(x)h+o({\theta }^2)\ge 0.$$两边除以 ${\theta }^2$ 并令 $\theta \to 0$,便得 $h^T{\nabla }^{2}f(x)h\ge 0$.由 $h\in {\mathbb{R}}^n$ 的任意性即知 ${\nabla }^{2}f(x)$ 是半正定的.

充分性： 设对任意 $x\in \mathbf{dom}(f),{\nabla }^{2}f(x)$ 是半正定的. $\forall x,y\in \mathbf{dom}(f),x\ne y$,则存在 $\xi =(1-\theta )x+\theta y\in \mathbf{dom}(f)$,其中 $\theta \in (0,1)$, 使得$$f(y)=f(x)+\nabla f(x{)}^T(y-x)+\frac{1}{2}(y-x{)}^T{\nabla }^{2}f(\xi )(y-x).$$将$y-x=(1-\theta {)}^{-1}(y-\xi )$ 代入上式最后一项并利用 ${\nabla }^{2}f(x)$ 的半正定性，得 $f(y)\ge$ $f(x)+\nabla f(x{)}^T(y-x)$.据命题 2.1(一阶微分判据)可知 $f$ 是凸函数.

下面证明(2)：

若 ${\nabla }^{2}f(x)$ 是正定的，那么对互异的 $x,y\in \mathbf{dom}(f)$,根据泰勒公式有 $f(y)>f(x)+\nabla f(x{)}^T(y-$ $x)$.（余项中带有${\nabla }^{2}f(x)$，且是二次项。因为${\nabla }^{2}f(x)$正定，那么余项一定大于0）因而 $f$ 是严格凸函数.

注： 严格凸函数不一定 ${\nabla }^{2}f(x)$ 在 dom$( f) $ 上恒为正定的. 例如在一维函数情形， $f(x)=x^4$ 在 $\mathbb{R}$ 上严格凸，但其二阶导数不恒为正.

2.2 可微凸函数的例子

例 (多元凸函数) 如下函数 f : R n → R ∪ { ∞ } f:\mathbb{R}^n\to\mathbb{R}\cup\{\infty\} f:Rn→R∪{∞} 均为凸函数：

(1) 仿射函数： $f(x)=a^{T}x+b,a\in {\mathbb{R}}^n,b\in \mathbb{R}.$

(2) 二次函数： $f(x):=\frac{1}{2}{x}^{T}Ax+b^{T}x+c,A\in {\mathbb{S}}_{+}^n,b\in {\mathbb{R}}^n,c\in \mathbb{R}$. 特别地，当 $A\in {\mathbb{S}}_{⊢+}^n$时，$f$ 是严格凸函数.

(3) 二次线性分式： $f(x,y):=x^2/y,\mathbf{dom}(f):=\mathbb{R}\times {\mathbb{R}}_{++}.$

(4) 指数对数函数： $f(x):=\ln ({\sum }_{i=1}^n{e}^{x_i})$,其中 $x_i$ 是 $x$ 的第 $i$ 个分量.

(5) 负对数指数函数： $f(x):=-\exp \left(\frac{1}{n}{\sum }_{i=1}^n\ln x_i\right),$ $\mathbf{dom}(f)$ : = ${\mathbb{R}}_{++}^n.$

注：(5)中的函数可以化为：$$f(x)=-\exp \left(\frac{1}{n}\sum _{i=1}^n\ln x_i\right)=-(\prod _{i=1}^n{x}_i{)}^{1/n},\text{dom}(f):={\mathbb{R}}_{++}^n.$$所以，此函数又称为负几何平均函数.

3. 保凸运算

3.1 复合函数的凸性

命题 3.1.1：设 $h:{\mathbb{R}}^m\to \overline{\mathbb{R}}$ 是一个凸函数，对 $i=1,\cdots ,m,g_i:C_i\to \mathbb{R}$ 是凸函数或凹函数，其中$C_i\subset {\mathbb{R}}^n$,满足条件：

$(1)g_i$ 是凸函数时，$h$ 关于第 $i$ 个变元 $x_i$ 在 R 上递增； 或

$(2)g_i$ 是凹函数时，$h$ 关于第 $i$ 个变元 $x_i$ 在 R 上递减，

记$$g(x):=(g_1(x),\cdots ,g_m(x){)}^T.$$那么，复合函数$$f=h\circ g,\text{dom}(f):=\{x\in \bigcap _{i=1}^m{C}_i|h(g(x))<\infty \},$$也是凸函数.

证：根据凸函数的定义以及$h$的凸性，可以得到$C_1,...,C_m$ 以及 $\mathbf{dom}(h)$ 均为凸集. 设 $x,y\in \mathbf{dom}(f),\theta \in [0,1]$,我们有$\theta x+(1-\theta )y\in {\bigcap }_{i=1}^m{C}_i$, 且 $\theta g(x)+(1-\theta )g(y)\in \mathbf{dom}(h)$.（$这里是因为g(\cdot )的值域是h(\cdot )的定义域，且h是凸的$）记$$\begin{array}{r}u:=g(\theta x+(1-\theta )y),v:=\theta g(x)+(1-\theta )g(y).\end{array}$$对于$i=1$

$(\mathrm{a})$ 当条件 (1) 成立时，$g_1$ 是凸的，故 $u_1\le v_1$. 由于 $h(x)$ 关于第一个变元$x_1$ 是递增的，所以$$\begin{array}{rl}f(\theta x+(1-\theta )y)& =h(u_1,u_2,\cdots ,u_m)\le h(v_1,u_2,\cdots ,u_m).\end{array}$$

$(\mathrm{b})$ 当条件 (2) 成立时，$g_1$ 是凹的，故 $u_1\ge v_1$. 由于 $h(x)$ 关于第一个变元 $x_1$ 是递减的，所以有$$\begin{array}{rl}f(\theta x+(1-\theta )y)& =h(u_1,u_2,\cdots ,u_m)\le h(v_1,u_2,\cdots ,u_m).\end{array}$$总之，有 $h(u_1,u_2,\cdots ,u_m)\le h(v_1,u_2,\cdots ,u_m)$. 依次对变元 $u_2,\cdots ,u_n$ 做同样的推导，最终我们得到$$\begin{array}{rl}f(\theta x+(1-\theta )y)& =h(u_1,u_2,\cdots ,u_m)\le h(v_1,v_2,\cdots ,v_m)=h(\theta g(x)+(1-\theta )g(y))\end{array}$$利用$h$的凸性可以得到：$$f(\theta x+(1-\theta )y)\le \theta h(g(x))+(1-\theta )h(g(y))=\theta f(x)+(1-\theta )f(y).$$所以 $f$ 是凸函数.

注： 上述证明中，我们用到了 $h$ 在如下点列$$u=(u_1,\cdots ,u_m{)}^T\to (v_1,u_2,\cdots ,u_m{)}^T\to \cdots \to (v_1,\cdots ,v_{m-1},u_m{)}^T\to v$$的值，其中，除了$v\in \mathbf{dom}(h)$,我们并不知道其他的点是否属于$\mathbf{dom}(h)$.所以，我们需要假定$h$ 关于每一个单变量在 $\mathbb{R}$上的单调性，即使这样的点不在 $\mathbf{dom}(h)$中.

例 3.1.1：(凹函数的对数与倒数)设$g:C\to \mathbb{R}$是凸函数，其中$C\subset {\mathbb{R}}^n$，则有： f ( x ) : = − ln ⁡ g ( x ) , d o m ( f ) : = { x ∈ C ∣ g ( x ) > 0 } 和 f ( x ) : = 1 / g ( x ) , d o m ( f ) : = { x ∈ C ∣ g ( x ) > 0 } 均为凸函数 f(x):=-\ln g(x),\quad\mathbf{dom}(f):=\{x\in C|g(x)>0\}\\和f(x):=1/g(x),\quad\mathbf{dom}(f):=\{x\in C|g(x)>0\}均为凸函数 f(x):=−lng(x),dom(f):={x∈C∣g(x)>0}和f(x):=1/g(x),dom(f):={x∈C∣g(x)>0}均为凸函数

证：由于 $h(u):=-\ln u$ 是凸函数，且关于$u$递减，而 $g$是凹函数，根据命题 3.3.1可知 $h\circ g$ 是凸函数，即$-\ln g(x)$是凸函数.

类似地，因为 $h(u):=1/u,\mathbf{dom}(h):={\mathbb{R}}_{+}$ 是凸函数，关于 $u$ 递减，而 $g$ 是凹函数， 所以 $f(x):=h(g(x))=1/g(x)$ 是凸函数.

注： 对恒为正的凸函数 $g$,不能保证 $\ln g$ 和 $1/g$ 仍为凹或凸的函数. 例如，$g_1(x)=x$和 $g_2(x)=1/\sqrt{x}$ 均是凸函数，而 $1/g_1$ 和 $1/g_2$却一个是凸函数另一个是凹的. $\ln g_1$ 和$\ln g_2$ 亦然.

3.2 几种保凸运算

下面给出几个命题，其中几个命题没有给出证明，感兴趣的读者可以自行证明。

命题 3.2.1：(求和的保凸性) 设 f i : R n → R ∪ { ∞ } , i = 1 , ⋯   , m f_i:\mathbb{R}^n\to\mathbb{R}\cup\{\infty\},\quad i=1,\cdots,m fi​:Rn→R∪{∞},i=1,⋯,m,均为凸函数，那么$$f(x):=f_1(x)+...+f_m(x),\forall x\in {\mathbb{R}}^n,$$和$$h(X):=f_1(x_1)+...+f_m(x_m),X:=(x_1,...,x_m)\in {\mathbb{R}}^{mn},$$都是凸函数，其有效定义域分别是$$\mathbf{dom}(f)=\bigcap _{i=1}^m\mathbf{dom}(f_i),\mathbf{dom}(h)=\mathbf{dom}(f_1)\times \cdots \times \mathbf{dom}(f_m).$$

命题 3.2.2：(与仿射变换复合) 设 $f:{\mathbb{R}}^n\to \overline{\mathbb{R}}$ 为凸函数，$A\in {\mathbb{R}}^{m\times n},b\in {\mathbb{R}}^m$, 那么$g(x):=f(Ax+b)$ 是凸函数.

命题 3.2.3：(凸函数族的逐点上确界) 设 $f_{\gamma }:{\mathbb{R}}^n\to \overline{\mathbb{R}},\gamma \in \Gamma \ne \varnothing$,是一族凸函数，则$$f(x):=\underset{\gamma \in \Gamma }{\sup }{f}_{\gamma }(x),x\in {\mathbb{R}}^n,$$也是凸函数.

证： 容易证明$$f=\underset{\gamma \in \Gamma }{\sup }{f}_{\gamma }⟺\mathbf{epi}(f)=\bigcap _{\gamma \in \Gamma }\mathbf{epi}(f_{\gamma }).$$所以 $f$ 也是凸函数.

命题 3.2.4： (凸函数关于部分变量的下确界) 设 $f:{\mathbb{R}}^n\times {\mathbb{R}}^m\to \overline{\mathbb{R}}$ 是一个凸函数，$C\subset$ ${\mathbb{R}}^m$ 是非空凸集，则$$g(x):=\underset{y\in C}{\inf }f(x,y)$$是一个凸函数.

证.：易见 $g$ 的有效定义域为 d o m ( g ) : = { x ∣ \mathbf{dom}(g):=\{x| dom(g):={x∣存在 $y\in C$, 使得 $(x,y)\in \mathbf{dom}(f)\}.$

对任意的 $x_1,x_2\in \mathbf{dom}(g),\theta \in [0,1],\forall y_1,y_2\in C$, 记$$\begin{array}{r}{x}_{\theta }:=\theta x_1+(1-\theta )x_2,y_{\theta }:=\theta y_1+(1-\theta )y_2.\end{array}$$则$y_{\theta }\in C$ 且 $(x_{\theta },y_{\theta })=\theta (x_1,y_1)+(1-\theta )(x_2,y_2)$.于是$$g(x_{\theta })\le f(x_{\theta },y_{\theta })\le \theta f(x_1,y_1)+(1-\theta )f(x_2,y_2).$$$$\begin{array}{rl}& ,y_2\in C\text{ 是任意的, 所以 }g(x_{\theta })\le \theta g(x_1)+(1-\theta )g(x_2)\end{array}$$即$g$是凸函数.

例 3.2.1 (点到凸集的距离) 设 $\parallel \cdot \parallel$ 是 ${\mathbb{R}}^n$ 中一个半范数，$C$ 是 ${\mathbb{R}}^n$ 中凸集，则$$\mathbf{dist}(x,C):=\underset{y\in C}{\inf }\Vert x-y\Vert ,\forall x\in {\mathbb{R}}^n,$$是${\mathbb{R}}^n$ 中凸函数.

证：易见 $f(x,y):=\Vert x-y\Vert$ 是 ${\mathbb{R}}^n\times {\mathbb{R}}^n$ 上凸函数，所以 $\mathrm{dist}(x,C):={\inf }_{y\in \mathcal{C}}f(x,y)$ 是凸函数.