凸优化简介16

凸函数与不变操作(Invariant Operations)

对于一般的凸函数的最小化问题：
$$\begin{gathered} \min f_0(x) \\ s.t.f_i(x)\le 0,i=1,\dots m \\ x\in Q\subseteq {\mathbb{R}}^n \end{gathered}$$
其中$Q$是一个闭凸集，并且 $f_i(x),i=0,\dots m$ 是一般凸函数。
在某些问题中，目标函数可能是非光滑、不可微的，例如：$f(x)=\underset{1\le j\le p}{\max }{\varphi }_j(x)$.
对于一般的凸函数，将 d o m f = { x ∈ R n : ∣ f ( x ) ∣ < ∞ } dom f=\{x\in\mathbb{R}^n:|f(x)|< \infty\} domf={x∈Rn:∣f(x)∣<∞}记作函数 $f$的定义域，并且假定 $domf\ne \varnothing$

定义：函数 $f(x)$称为凸的，如果它的定义域是凸的，并且对于所有的 $x,y\in domf,a\in [0,1]$，下面的不等式成立：$f(ax+(1-a)y)\le af(x)+(1-a)f(y)$. 如果函数 $f$是凹的，那么 $-f$是凸的

引理(Jensen 不等式)：对于任意的 $x_1,\dots x_m\in domf$，以及满足 $\sum _{i=1}^m{a}_i=1,a_i\ge 0,i=1,\dots m$，有 $f\left(\sum _{i=1}^m{a}_i{x}_i\right)\le \sum _{i=1}^m{a}_{i}f(x_i)$. 其中 点 $x=\sum _{i=1}^m{a}_i{x}_i$称为点 $x_i$的一个凸组合

证明：可以使用归纳法证明，对于 $m+1$个点的集合，有$\sum _{i=1}^{m+1}{a}_i{x}_i=a_1{x}_1+(1-a_1)\sum _{i=1}^m{\beta }_i{x}_{i+1}$，其中 ${\beta }_i=\frac{a_{i+1}}{1-a_1}$，因此 $\sum _{i=1}^m{\beta }_i=1,{\beta }_i\ge 0,i=1,\dots m$.
因此，可以得到
$$\begin{array}{rl}& f\left(\sum _{i=1}^{m+1}{a}_i{x}_i\right)=f\left(a_1{x}_1+(1-a_1)\sum _{i=1}^m{\beta }_i{x}_i\right)\\ & \le a_{1}f(x_1)+(1-a_1)f\left(\sum _{i=1}^m{\beta }_i{x}_i\right)\\ & \le \sum _{i=1}^{m+1}{a}_{i}f(x_i)\end{array}$$

推论：设 $x$是点 $x_1,\dots ,x_m$的一个凸组合，那么 $f(x)\le \underset{1\le i\le m}{\max }f(x_i)$

证明：根据 Jensen 不等式，并且 $a_i\ge 0,\sum _{i=1}^m{a}_i=1$，得到：
$f(x)=f\left(\sum _{i=1}^m{a}_i{x}_i\right)\le \sum _{i=1}^m{a}_{i}f(x_i)\le \underset{1\le i\le m}{\max }f(x_i)$.

推论：设 Δ = C o n v { x 1 , … , x m } ≡ { x = ∑ i = 1 m a i x i ∣ a i ≥ 0 , ∑ i = 1 m a i = 1 } \Delta=Conv \{x_1,\dots, x_m\}\equiv \left\{x=\sum\limits_{i=1}^{m}a_ix_i|a_i\geq 0, \sum \limits_{i=1}^{m}a_i=1\right\} Δ=Conv{x1​,…,xm​}≡{x=i=1∑m​ai​xi​∣ai​≥0,i=1∑m​ai​=1}，那么 $\underset{x\in \Delta }{\max }f(x)=\underset{1\le i\le n}{\max }f(x_i)$.
定理：函数 $f$是凸的，当且仅当，对于所有满足 $y+\beta (y-x)\in domf$的 $x,y\in domf$，并且 $\beta \ge 0$，有：$f(y+\beta (y-x))\ge f(y)+\beta (f(y)-f(x))$.

证明：设 $f$ 是凸函数，$a=\frac{\beta }{1+\beta }$，并且 $u=y+\beta (y-x)$，那么 $y=\frac{1}{1+\beta }(u+\beta x)=(1-a)u+ax$. 然后，利用凸函数的属性可以得到：
$f(y)\le (1-a)f(u)+af(x)=\frac{1}{1+\beta }f(u)+\frac{\beta }{1+\beta }f(x)$, 必要性得证。
设 $x,y\in domf，a\in (0,1]，\beta =\frac{1-a}{a}，u=ax+(1-a)y$，那么 $x=\frac{1}{a}(u-(1-a)y)=u+\beta (u-y)$，因此 $f(x)\ge f(u)+\beta (f(u)-f(y))=\frac{1}{a}f(u)-\frac{1-a}{a}f(y)$. 因此，函数 $f$满足凸函数的性质，充分性得证。

定理：函数 $f$是凸的，当且仅当它的上境图 e p i ( f ) = { ( x , t ) ∈ d o m f × R ∣ t ≥ f ( x ) } epi(f)=\{(x,t)\in dom f\times \mathbb{R}| t \geq f(x)\} epi(f)={(x,t)∈domf×R∣t≥f(x)}.

证明：设函数 $f$是凸函数，如果$(x_1,t_1)\in epi(f)$，且 $(x_2,t_2)\in epi(f)$，那么对于任意的 $a\in [0,1]$有：
$a{t}_1+(1-a)t_2\ge af(x_1)+(1-a)f(x_2)\ge f(a{x}_1+(1-a)x_2)$，所以 $(a{x}_1+(1-a)x_2,a{t}_1+(1-a)t_2)\in epi(f)$，必要性得证。
设 $epi(f)$是凸的，对于 $x_1,x_2\in domf$，$(x_1,f(x_1))\in epi(f)$, $(x_2,f(x_2))\in epi(f)$，利用凸函数的性质，$(a{x}_1+(1-a)x_2,af(x_1)+(1-a)f(x_2))\in epi(f)$，根据 $epi(f)$的定义，得到 $f(a{x}_1+(1-a)x_2)\le af(x_1)+(1-a)f(x_2)$，所以得到函数 $f$是凸的，充分性得证。

定义：如果函数 $f$的上境图是一个闭集，那么凸函数 $f$称为闭的

定理：如果凸函数 $f$是闭的，那么所有它的层集要么是空的，要么是闭的

证明：在凸优化简介13中有个类似的定理，在这里，根据定义， ( L f ( β ) , β ) = e p i ( f ) ∩ { ( x , t ) ∣ t = β } (\mathfrak{L}_f(\beta),\beta)=epi(f)\cap\{(x,t)|t=\beta\} (Lf​(β),β)=epi(f)∩{(x,t)∣t=β}，因此，作为两个闭凸集的交集，$({\mathfrak{L}}_f(\beta ),\beta )$是闭和凸的，因此投影 ${\mathfrak{L}}_f(\beta )$也是闭和凸的。
如果函数 $f$是凸的连续函数，且它的 $domf$是闭的，那么 $f$是闭合的，但是一个闭的凸函数不一定是连续的。
下面是凸函数的例子：
1. 线性函数是闭和凸的；
2. $f(x)=|x|,x\in {\mathbb{R}}^1$ 是闭和凸的，因为它的上境图 { ( x , t ) ∣ t ≥ x 且 t ≥ − x } \{(x,t)|t \geq x 且 t \geq -x\} {(x,t)∣t≥x且t≥−x}. 是两个闭凸集的交集；
3. 所有在 ${\mathbb{R}}^n$上可微的凸的函数属于一般闭凸函数类；
4. 函数 $f(x)=\frac{1}{x},x>0$是凸和闭的，然而它的域 $domf=int{\mathbb{R}}_{+}^1$是开的；
5. 函数 $f(x)=\Vert x\Vert$，其中 $\Vert \cdot \Vert$是任意的范数，是闭和凸的，对于任意的 $x_1,x_2\in {\mathbb{R}}^n$和 $a\in [0,1]$有 $$\begin{gathered} f(a{x}_1+(1-a)x_2)=\Vert a{x}_1+(1-a)x_2\Vert \\ \le \Vert a{x}_1\Vert +\Vert (1-a)\Vert x_2 \\ =a\Vert x_1\Vert +(1-a)\Vert x_2\Vert \end{gathered}$$.
${\mathfrak{l}}_p$范数的定义为 $\Vert x{\Vert }_p={\left[\sum _{i=1}^n|x^{(i)}{|}^p\right]}^{1/p},p\ge 1$，常用的范数为：

• 欧式范数：$\Vert x\Vert ={\left[\sum _{i=1}^n(x^{(i)}{)}^2\right]}^{1/2},p=2$;
• $l_1$范数 ：$\Vert x{\Vert }_1=\sum _{i=1}^n|x^{(i)}|,p=1$
• $l_{\infty }$范数：$\Vert x{\Vert }_{\infty }=\underset{1\le i\le n}{\max }|x^{(i)}|$.

任意范数定义一系列的球， B ∥ ⋅ ∥ ( x 0 , r ) = { x ∈ R n ∣ ∥ x − x 0 ∥ ≤ r } , r ≥ 0 B_{\|\cdot\|}(x_0,r)=\{x\in \mathbb{R}^n|\|x-x_0\|\leq r\}, r\geq 0 B∥⋅∥​(x0​,r)={x∈Rn∣∥x−x0​∥≤r},r≥0，其中 $r$是一个球的半径，且 $x_0\in {\mathbb{R}}^n$是它的中心，我们称球 $B_{\Vert \cdot \Vert }(0,1)$为范数 $\Vert \cdot \Vert$的单位球，显然，这些球是凸集。对于半径 $r$的 $l_p$球，使用记号 B p ( x 0 , r ) = { x ∈ R n ∣ ∥ x − x 0 ∥ p ≤ r } B_p(x_0,r)=\{x\in \mathbb{R}^n|\|x-x_0\|_p\leq r\} Bp​(x0​,r)={x∈Rn∣∥x−x0​∥p​≤r}. 下面是一个欧式球与 $l_1$球的关系：$B_1(x_0,r)\subset B_2(x_0,r)\subset B_1(x_0,r\sqrt{n})$.
考虑函数 $f(x,y)=\{\begin{array}{rlr}& 0,& if{x}^2+y^2<1,\\ & \varphi (x,y),& if{x}^2+y^2=1.\end{array}$
其中 $\varphi (x,y)$是一个定义在单位圆上的任意的非负函数，函数的域是单位的欧式圆盘，是闭且凸的。但是在域的边界上，函数 $f$没有合理的属性，因此 $f(x,y)$不是闭的，除非 $\varphi (x,y)\equiv 0$.

下半连续性(Lower semi-continuity): 函数$f$如果对于一个序列 { x k } \{x_k\} {xk​}收敛到 $\bar{x}$，$\underset{k\to \infty }{\lim }inff(x_k)\ge f(\bar{x})$，称函数 $f$在给定的向量$\bar{x}$是下半连续的。

定理：对于函数 f : R n → R ∪ { − ∞ , + ∞ } f:\mathbb{R}^n\rightarrow\mathbb{R}\cup\{-\infty,+\infty\} f:Rn→R∪{−∞,+∞}，下面的表述是等价的：(1) $f$是闭的；(2) $f$的所有的层集都是闭的；(3) $f$在 ${\mathbb{R}}^n$上是下半连续的

定理：设函数 $f_1$和函数 $f_2$是闭和凸的，令 $\beta \ge 0$，那么下面所有的函数是闭和凸的：

• $f(x)=\beta f_1(x),domf=dom{f}_1$;
• $f(x)=f_1(x)+f_2(x),domf=(dom{f}_1)\cap (dom{f}_2)$;
• f ( x ) = m a x { f 1 ( x ) , f 2 ( x ) } , d o m f = ( d o m f 1 ) ∩ ( d o m f 2 ) f(x)=max\{f_1(x),f_2(x)\}, dom f=(dom f_1)\cap (dom f_2) f(x)=max{f1​(x),f2​(x)},domf=(domf1​)∩(domf2​).

证明1：利用凸函数的性质可以得到 $f(a{x}_1+(1-a)x_2)=\beta f_1(a{x}_1+(1-a)x_2)\le \beta (a{f}_1(x_1)+(1-a)f_1(x_2))$.
证明2：对于所有的 $x_1,x_2\in (dom{f}_1)\cap (dom{f}_2)$，且 $a\in [0,1]$，有：
$$\begin{array}{rl}& f_1(a{x}_1+(1-a)x_2)+f_2(a{x}_1+(1-a)x_2)\\ & \le a{f}_1(x_1)+(1-a)f_1(x_2)+a{f}_2(x_1)+(1-a)f_2(x_2)\\ & =a(f_1(x_1)+f_2(x_1))+(1-a)(f_1(x_2)+f_2(x_2))\end{array}$$
因此，$f(x)$是凸的。考虑序列 { ( x k , t k ) } ⊂ e p i ( f ) \{(x_k,t_k)\}\subset epi(f) {(xk​,tk​)}⊂epi(f)，$t_k\ge f_1(x_k)+f_2(x_k),\underset{k\to \infty }{\lim }{x}_k=\bar{x}\in domf,\underset{k\to \infty }{\lim }{t}_k=\bar{t}$. 因为 $f_1$和 $f_2$都是闭的，根据下半连续性，得到 $\underset{k\to \infty }{\lim }inf{f}_1(x_k)\ge f_1(\bar{x})$, $\underset{k\to \infty }{\lim }inf{f}_2(x_k)\ge f_2(\bar{x})$。因为 $\bar{t}=\underset{k\to \infty }{\lim }{t}_k\ge \underset{k\to \infty }{\lim }inf{f}_1(x_k)+\underset{k\to \infty }{\lim }inf{f}_2(x_k)\ge f(\bar{x})$ 使得 $(\bar{x},\bar{t}\in epif)$，集合内任意序列的极限点也在集合内，因此为闭集。
证明3：函数 $f$的上境图为 e p i   f = { ( x , t ) ∣ t ≥ f 1 ( x ) , t ≥ f 2 ( x ) , x ∈ ( d o m f 1 ∩ d o m f 2 ) } = e p i   f 1 ∩ e p i   f 2 epi\ f=\{(x,t)|t\geq f_1(x), t\geq f_2(x),x\in (dom f_1\cap dom f_2)\}=epi\ f_1\cap epi\ f_2 epi f={(x,t)∣t≥f1​(x),t≥f2​(x),x∈(domf1​∩domf2​)}=epi f1​∩epi f2​。因此 $epif$是两个闭凸集的交集，因此 $epif$是闭和凸的。根据前面的定理可以得到函数 $f$是闭且凸的。

定理：设函数 $\varphi (y),y\in {\mathbb{R}}^m$是闭且凸的，考虑线性算子：$\mathfrak{A}(x)=Ax+b：{\mathbb{R}}^n\to {\mathbb{R}}^m$，那么 $f(x)=\varphi (\mathfrak{A}(x))$是一个闭且凸的函数，其域为 d o m   f = { x ∈ R n ∣ A ( x ) ∈ d o m   ϕ } dom\ f=\{x\in \mathbb{R}^n|\mathfrak{A}(x)\in dom\ \phi\} dom f={x∈Rn∣A(x)∈dom ϕ}.

证明：对于来自 $domf$的 $x_1$和 $x_2$，记 $y_1=\mathfrak{A}(x_1)，y_2=\mathfrak{A}(y_2)$，那么，对于 $a\in [0,1]$，有 $$\begin{gathered} f(a{x}_1+(1-a)x_2)=\varphi (\mathfrak{A}(a{x}_1+(1-a)x_2)) \\ =\varphi (a{y}_1+(1-a)y_2) \\ \le a\varphi (y_1)+(1-a)\varphi (y_2) \\ =af(x_1)+(1-a)f(x_2) \end{gathered}$$，因此，$f(x)$是凸的，因为线性算子是连续的，所以是闭的。

定理：设 $\Delta$是某个集合，且 f ( x ) = sup ⁡ y { ϕ ( y , x ) ∣ y ∈ Δ } f(x)=\sup\limits_{y}\{\phi(y,x)|y\in \Delta\} f(x)=ysup​{ϕ(y,x)∣y∈Δ}，假定对于任意固定的 $y\in \Delta$，函数 $\varphi (y,x)$是闭和凸的，那么 $f(x)$是闭和凸的函数，域为 d o m   f = { x ∈ ∩ y ∈ Δ d o m ϕ ( y , ⋅ ) ∣ ∃ γ : ϕ ( y , x ) ≤ γ , ∀ y ∈ Δ } dom\ f=\{x\in \cap_{y\in \Delta} dom \phi(y,\cdot)|\exist\gamma: \phi(y,x)\leq \gamma, \forall y\in \Delta\} dom f={x∈∩y∈Δ​domϕ(y,⋅)∣∃γ:ϕ(y,x)≤γ,∀y∈Δ}.

证明：$(x,t)\in epif$ 当且仅当，对于所有的 $y\in \Delta$，有 $x\in dom\varphi (y,\cdot ),t\ge \varphi (y,x)$，这表明 $epif={\cap }_{y\in \Delta }epi\varphi (y,\cdot )$。因为每个 $epi\varphi (y,\cdot )$是凸和闭的，因此 $f$是凸和闭的。