凸优化第二章——凸函数

凸函数

定义

定义：函数$f:R^n\to R$是凸函数$⟺$$domf$是凸集，且对于任意$x,y\in domf$和任意$0\le \theta \le 1$，有$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$

注意：凸函数和凹函数的定义域都必须是凸集；若 $f$为凹函数，则 $-f$为凸函数。

性质：函数是凸的，当且仅当其在与其定义域相交的任何直线上都是凸的。换言之，函数$f$是凸的$⟺$对于任意$x\in domf$和任意向量$v$，函数 g ( t ) = f ( x + v t ) , d o m   g = { t ∣ x + v t ∈ d o m   f } g(t)=f(x+vt),dom\ g=\{t|x+vt\in dom\ f\} g(t)=f(x+vt),dom g={t∣x+vt∈dom f}都是凸函数。（复合仿射映射）

扩展值延伸

如果$f$是凸函数，则定义其扩展值延伸$\tilde{f}$为：
$$\tilde{f}(x)=\{\begin{array}{l}f(x),x\in domf\\ \infty ,x\notin domf\end{array}$$
原函数是凸，则其扩展函数也是凸，反之亦然。

如果$f$是凹函数，则定义其扩展值延伸$\tilde{f}$为：
$$\tilde{f}(x)=\{\begin{array}{l}f(x),x\in domf\\ -\infty ,x\notin domf\end{array}$$

原函数是凹，则其扩展函数也是凹，反之亦然。

一阶条件

假设$f$可微（即其梯度$\nabla f$在定义域内处处存在），则函数$f$是凸函数$⟺$$domf$是凸集，且对于任意$x,y\in domf$，有$f(y)\ge f(x)+\nabla f(x{)}^T(y-x)$。

（求证）

二阶条件

假设$f$二阶可微（即其梯度${\nabla }^{2}f$在定义域内处处存在），则函数$f$是凸函数$⟺$$domf$是凸集，且对于所有的$x\in domf$，有${\nabla }^{2}f(x)⪰0$（半正定）。

如果对于任意的$x\in domf$有${\nabla }^{2}f(x)\succ 0$，则$f$是严格凸函数。反之不成立，比如$f(x)=x^4$，它是严格凸的，但在$x=0$处，二阶导数为0。

半正定的判别条件：所有主子式非负。

主子式：在n 阶行列式中，选取行号，再选取与行号相同的列号，则行数和列数都为i个的行列式即为n阶行列式的i阶主子式

（求证）

Jensen不等式

若$f$是凸函数，则

• $f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$ for all $\theta \in [0,1]$
• $f({\theta }_1{x}_1+...+{\theta }_k{x}_k)\le {\theta }_{1}f(x_1)+...+{\theta }_{k}f(x_k)$ for all ${\theta }_1,...,{\theta }_k\ge 0,{\theta }_1+...+{\theta }_k=1$

若$f$是凸函数，$Z$是随机变量且$P(Z\in domf)=1$，则$f(EZ)\le Ef(Z)$。

上镜图epigrapgh

定义：函数$f$的上镜图$epif=\{(x,t)|x\in domf,f(x)\le t\}$

性质：函数$f$是凸函数$⟺$$epif$是凸集
证明：

下水平集sublevel set

定义：函数$f$的$\alpha$下水平集为 C α = { x ∈ d o m   f ∣ f ( x ) ≤ α } C_\alpha=\{x\in dom\ f|f(x)\le \alpha\} Cα​={x∈dom f∣f(x)≤α}

性质1：凸函数的任意$\alpha$下水平集仍然是凸集，反之不一定成立；

性质2：凹函数的任意$\alpha$上水平集仍然是凸集

保凸运算

证明$f$是凸函数的主要方法

• 定义
• 上镜图
• 一阶条件
• 二阶条件
• 保凸运算

保凸运算

1. 非负加权求和

   • 凸（凹）函数的非负加权求和仍然是凸（凹）函数，即：若$f_1,...f_m$是凸（凹）函数，$w_1,...,w_m\ge 0$，则$f=w_1{f}_1+...+w_m{f}_m$仍然是凸（凹）函数

   • 严格凸（凹）函数的非负、非全零的加权求和是严格凸（凹）函数

2. 复合仿射映射

   • 设$f$是凸函数，则 g ( x ) = f ( A x + b ) , d o m   g = { x ∣ A x + b ∈ d o m   f } g(x)=f(Ax+b),dom\ g=\{x|Ax+b\in dom\ f\} g(x)=f(Ax+b),dom g={x∣Ax+b∈dom f}也是凸函数；

   • 设$f$是凹函数，则 g ( x ) = f ( A x + b ) , d o m   g = { x ∣ A x + b ∈ d o m   f } g(x)=f(Ax+b),dom\ g=\{x|Ax+b\in dom\ f\} g(x)=f(Ax+b),dom g={x∣Ax+b∈dom f}也是凹函数

3. 逐点最大和逐点上确界

   • 若$f_1(x),...,f_m(x)$是凸函数，则 f ( x ) = m a x { f 1 ( x ) , . . . , f m ( x ) } f(x)=max\{f_1(x),...,f_m(x)\} f(x)=max{f1​(x),...,fm​(x)}也是凸函数

   • 如果对于任意$y\in A$，函数$f(x,y)$关于$x$都是凸的，那么函数$g(x)=\underset{y\in A}{\sup }f(x,y)$关于$x$也是凸函数。此时函数$g$的定义域为 d o m   g = { x ∣ ( x , y ) ∈ d o m   f   ∀ y ∈ A , s u p   f ( x , y ) < ∞ } dom\ g=\{x|(x,y)\in dom\ f\ \forall y\in A,sup\ f(x,y)<\infin\} dom g={x∣(x,y)∈dom f ∀y∈A,sup f(x,y)<∞};

     类似地，一系列凹函数的逐点下确界仍然是凹函数

4. 复合（充分不必要）

   给定函数$h:R^k\to R$和$g:R^n\to R^k$，定义复合函数$f=h\circ g:R^n\to R$为 f ( x ) = h ( g ( x ) ) , d o m   f = { x ∈ d o m   g ∣ g ( x ) ∈ d o m   h } f(x)=h(g(x)),dom\ f=\{x\in dom\ g|g(x)\in dom\ h\} f(x)=h(g(x)),dom f={x∈dom g∣g(x)∈dom h}。

   记忆方法：假设$n=1$，于是$f^{\prime \prime }(x)=h^{\prime \prime }(g(x))[g^{\prime }(x){]}^2+h^{\prime }(g(x))g^{\prime \prime }(x)$

   • 如果$h$是凸函数且$\tilde{h}$单调增加，$g$是凸函数，则$f$是凸函数；
   • 如果$h$是凸函数且$\tilde{h}$单调减少，$g$是凹函数，则$f$是凸函数；
   • 如果$h$是凹函数且$\tilde{h}$单调增加，$g$是凹函数，则$f$是凹函数；
   • 如果$h$是凹函数且$\tilde{h}$单调减少，$g$是凸函数，则$f$是凹函数。

   矢量复合：

   

5. 最小化

   若$f(x,y)$关于$(x,y)$是凸函数，$C$是凸集，则$g(x)=\underset{y\in C}{\inf }f(x,y)$是凸函数

6. 透视函数

   给定函数$f:R^n\to R$，则$f$的透视函数$g:R^{n+1}\to R$定义为
   $$g(x,t)=tf(x/t),domg=\{(x,t)|x/t\in domf,t>0\}$$

   • 如果函数$f$是凸（凹）函数，则其透视函数也是凸（凹）函数。（求证，提示：epi）

     证明：$epig$是$epif$在透视函数$g(x,t)=\frac{x}{t},t>0$下的原像，因此也是凸集（凸集的保凸运算），因此g是凸函数。

拟凸函数/单峰函数

定义

• 如果函数$f$的定义域和所有下水平集都是凸集，那么$f$是拟凸函数

• 如果函数$-f$是拟凸函数，那么$f$是拟凹函数

• 如果函数$f$既是拟凸函数又是拟凹函数（即$f$的定义域和所有水平集 { x ∈ d o m   f ∣ f ( x ) = α } \{x\in dom\ f|f(x)=\alpha\} {x∈dom f∣f(x)=α}都是凸集），那么$f$是拟线性函数

充要条件

• 函数$f$是拟凸函数$⟺$$domf$是凸集，且对于任意$x,y\in domf$即任意$0\le \theta \le 1$，有 f ( θ x + ( 1 − θ ) y ) ≤ m a x { f ( x ) , f ( y ) } f(\theta x+(1-\theta)y)\le max\{f(x),f(y)\} f(θx+(1−θ)y)≤max{f(x),f(y)}
• 函数$f$是拟凸函数$⟺$对于任意$x\in domf$和任意向量$v$，$g(t)=f(x+vt)$都是拟凸函数

性质

• 凸函数一定是拟凸函数，反之不一定。

R上的拟凸函数

• 若$f:R\to R$是单调的，那么它是拟线性函数（既是拟凸也是拟凹）
• 若$f:R\to R$满足以下条件之一，那么它是拟凸的：
  • $f$单调（拟线性）
  • $f $先减后增

可微拟凸函数

• 一阶条件（充要）

  设$f:R^n\to R$可微，则$f$是拟凸函数$⟺$$domf$是凸集，且对于任意$x,y\in domf$有$f(y)\le f(x)⟹\nabla f(x{)}^T(y-x)\le 0$

• 二阶条件（必要）

  设$f$二阶可微，则$f$是拟凸函数$⟹$对于任意$x\in domf$以及任意$y\in R^n$有$y^T\nabla f(x)=0\to y^T{\nabla }^{2}f(x)y\ge 0$

  对于R上的函数$f$，二阶条件可以简化为：

  设$f$二阶可微，则$f$是拟凸函数$⟹$对于任意$x\in domf$以及任意$y\in R^n$有$f^{\prime }(x)=0\to f^{\prime \prime }(x)\ge 0$

对数-凸 Log-Convex

定义

• 函数$f$是对数凸的$⟺$对于所有$x\in domf$有$f(x)>0$且$logf$是凸函数（即$f(\theta x+(1-\theta )y)\le f(x{)}^{\theta }f(y{)}^{1-\theta }$）
• 函数$f$是对数凹的$⟺$对于所有$x\in domf$有$f(x)>0$且$logf$是凹函数（即$f(\theta x+(1-\theta )y)\ge f(x{)}^{\theta }f(y{)}^{1-\theta }$）
• $f$是对数凸函数$⟺$$\frac{1}{f}$是对数凹函数。
• 对数凸函数是凸函数，非负对数凹函数时凹函数
• 对数凸函数是拟凸函数，对数凹函数是拟凹函数

共轭函数

定义

设函数$f:R^n\to R$，则其共轭函数$f^{\ast }:R^n\to R$为$f^{\ast }(y)=\underset{x\in domf}{\sup }(y^{T}x-f(x))$。$y^{T}x-f(x)$在$domf$有上界的所有$y\in R^n$构成了$f^{\ast }$的定义域。

凸性

不论$f$是否为凸，其共轭函数$f^{\ast }$一定是凸函数。因为它是关于$y$的仿射函数的逐点上确界。

对偶范数

$||x||$的对偶范数为$||x|{|}_{\ast }=\underset{||y||\le 1}{\sup }{y}^{T}x$

范数的共轭函数

$$f^{\ast }(y)=\{\begin{array}{ll}0,& ||y|{|}_{\ast }\le 1\\ +\infty ,& otherwise\end{array}$$