凸优化5：凸函数 Convex funtions

1、凸函数的定义1

凸函数：若函数$f:R^n\to R$是凸函数，则他需要满足两个条件：

• $domf$是凸集
• $\forall x,y\in domf,0\le \theta \le 1$，有$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$

凸函数的扩展：若函数$f:R^n\to R$是凸函数，$domf=C\subseteq R^n$，则凸函数的扩展

$$\tilde{f}=\{\begin{array}{c}f(x),x\in domf\\ +\infty ,x\notin domf\end{array}$$
仍为凸函数

Ex1：示性函数是凸函数

凸集$C\subseteq R^n$
$$示性函数f_c(x)=\{\begin{array}{c}无定义,x\notin C\\ 0,x\in C\end{array}为凸函数$$
示性函数的扩展
$$I_c(x)=\{\begin{array}{c}+\infty ,x\notin C\\ 0,x\in C\end{array}为凸函数$$

2、凸函数的定义2：高维到低维

函数是凸的，当且仅当其在与其定义域相交的任何直线上都是凸的
f 为 凸 函 数 ⇔ ∀   x ∈ d o m   f , ∀   v , g ( t ) = f ( x + t v ) 为 凸 ， 其 中 d o m   g = { t ∣ x + t v ∈ d o m   f } f为凸函数 \Leftrightarrow\\ \forall \space x \in dom \space f, \forall \space v, g(t)=f(x+tv)为凸，其中dom \space g=\{t \mid x+tv \in dom \space f\} f为凸函数⇔∀ x∈dom f,∀ v,g(t)=f(x+tv)为凸，其中dom g={t∣x+tv∈dom f}

3、凸函数的定义3：一阶条件（若函数一阶倒数存在）

设$f:R^n\to R$可微，即梯度$▽f$在$domf$上均存在，则$f$为凸函数等价于：

• $domf$为凸
• $f(y)\ge f(x)+▽f^T(x)(y-x),\forall x,y\in domf$

下图为等价定义的简单理解：

证明一阶条件：

首先考虑一维情况：$f:R\to R$为凸函数 $\iff domf$为凸且$f(y)\ge f(x)+f^{\prime }(x)(y-x)$

充分性证明：
$$\begin{gathered} f为凸，\forall x,y\in domf为凸 \\ \forall t,0\le t\le 1,x+t(y-x)\in domf \\ f(x+t(y-x))\le (1-t)f(x)+tf(y) \\ tf(y)\ge tf(x)+f(x+t(y-x))-f(x) \\ f(y)\ge f(x)+\frac{f(x+t(y-x))-f(x)}{t}，对于\forall t都成立 \\ 两侧对t取极限，有：f(y)\ge f(x)+f^{\prime }(x)(y-x)得证 \end{gathered}$$
必要性证明：
$$\begin{gathered} 设\forall x\ne y,x,y\in domf,0\le \theta \le 1 \\ 构造z=\theta x+(1-\theta )y\in domf \\ \{\begin{array}{c}f(x)\ge f(z)+f^{\prime }(z)(x-z)\\ f(y)\ge f(z)+f^{\prime }(z)(y-z)\end{array} \\ \Rightarrow \theta f(x)+(1-\theta )f(y)\ge f(z)+[\theta (x-z)+(1-\theta )(y-z)]f^{\prime }(z) \\ \ge f(z)+(\theta x+(1-\theta )y-z)f^{\prime }(z) \\ \Rightarrow \theta f(x)+(1-\theta )f(y)\ge f(z) \\ 当x=y时，z=\theta x+(1-\theta )y=x \\ f(x)\ge f(z)恒成立，得证 \end{gathered}$$

下面扩展到高维情况：

即$functionfisconvex\iff domfisconvexandf(y)\ge f(x)+▽f^T(x)(y-x),\forall x,y\in domf$

充分性证明：
$$\begin{gathered} 要证：f为凸函数\Rightarrow domf为凸，且f(y)\ge f(x)+▽f^T(x)(y-x) \\ f为凸函数，则由第一个定义可知，domf一定为凸 \\ g(t)=f(ty+(1-t)x),ty+(1-t)x是仿射组合 \\ g(t)=f(x+t(y-x)) \\ {g}^{\prime }(t)=▽f^T(ty+(1-t)x)(y-x) \\ 由定义2以及一维情况有： \\ g(t_1)\ge g(t_2)+g^{\prime }(t_2)(t_1-t_2) \\ \forall t_1,t_2都成立，令t_1=1,t_2=0 \\ g(1)\ge g(0)+g^{\prime }(0) \\ \Rightarrow f(y)\ge f(x)+▽f^T(x)(y-x)得证 \end{gathered}$$
必要性证明：
$$\begin{gathered} 要证：domf为凸，且f(y)\ge f(x)+▽f^T(x)(y-x)\Rightarrow f为凸函数 \\ \forall x,y\in domf,ty+(1-t)x\in domf \\ \tilde{t}y+(1-\tilde{t})x\in domf \\ 将上述两点代入已知得： \\ f(ty+(1-t)x)\ge f(\tilde{t}y+(1-\tilde{t})x)+▽f(\tilde{t}y+(1-\tilde{t})x)(ty+(1-t)x-\tilde{t}y-(1-\tilde{t})x) \\ \Rightarrow f(ty+(1-t)x)\ge f(\tilde{t}y+(1-\tilde{t})x)+▽f(\tilde{t}y+(1-\tilde{t})x)(y-x)(t-\tilde{t}) \\ 定义函数g(t)=f(ty+(1-t)x),g(\tilde{t})=f(\tilde{t}y+(1-\tilde{t})x) \\ {g}^{\prime }(\tilde{t})=▽f^T(\tilde{t}y+(1-\tilde{t})x)(y-x) \\ \Rightarrow g(t)\ge g(\tilde{t})+g^{\prime }(\tilde{t})(t-\tilde{t}) \\ 由定义2可知，f为凸函数 \end{gathered}$$

4、凸函数的定义4：二阶条件

若$f:R^n\to R$二阶可微，则$f$为凸函数$\iff domf$为凸，${▽}^{2}f(x)⪰0,\forall x\in domf$

此处需要知道，关于二阶条件与严格凸的关系：
$$\begin{gathered} {▽}^{2}f(x)\succ 0\Rightarrow 严格凸 \\ 严格凸\nRightarrow {▽}^{2}f(x)\succ 0 \end{gathered}$$
Ex1：二次函数
$$\begin{gathered} f:R^n\to R,domf=R^n \\ f(x)=\frac{1}{2}{x}^{T}Px+q^{T}x+r,P\in S^n,q\in R^n,r\in R \\ {▽}^{2}f(x)=P \end{gathered}$$
二次函数${▽}^{2}f(x)\succ 0\iff 严格凸$

Ex2：
$$\begin{gathered} f(x)=\frac{1}{x^2},x\ne 0,x\in R \\ {f}^{\prime \prime }(x)=6x^{-4} \\ f(x)虽正定，但f(x)不是凸函数，因为domf不是凸集 \end{gathered}$$

Ex3：仿射函数

$f(x)=Ax+b,{▽}^{2}f(x)=0\Rightarrow$凸函数

Ex4：指数函数

$f(x)=e^{ax},x\in R,{▽}^{2}f(x)=a^2{e}^{ax}\Rightarrow$凸函数

Ex5：幂函数
$$\begin{gathered} f(x)=x^a,x\in R_{++},f^{\prime \prime }(x)=a(a-1)x^{a-2} \\ {▽}^{2}f(x)=\{\begin{array}{c}\ge 0,a\ge 1ora\le 0\\ \le 0,0\le a\le 1\end{array} \end{gathered}$$

Ex6：绝对值幂函数
$$\begin{gathered} f(x)=|x{|}^P,x\in R \\ P较为合适时：f^{\prime }(x)=\{\begin{array}{c}P{x}^{P-1},x\ge 0\\ -P(-x{)}^{P-1},x<0\end{array} \\ {f}^{\prime \prime }(x)=\{\begin{array}{c}P(P-1)x^{P-2},x\ge 0\\ P(P-1)x^{P-2},x<0\end{array} \\ P>1时，函数为凸 \\ P=1时，|x|不可导，但是仍为凸 \end{gathered}$$
故$P\ge 1$时，绝对值幂函数为凸

Ex7：对数函数
$$\begin{gathered} f(x)=\log (x),x\in R_{++} \\ {f}^{\prime }(x)=\frac{1}{x},f^{\prime \prime }(x)=-\frac{1}{x^2}<0 \end{gathered}$$
严格凹函数

Ex8：负熵
$$\begin{gathered} f(x)=x\log (x),x\in R_{++} \\ {f}^{\prime }(x)=1+\log (x),f^{\prime \prime }(x)=\frac{1}{x}>0 \end{gathered}$$
严格凸函数

Ex9：范数

$R^n$空间范数$P(x),x\in R^n$，范数定义$\{\begin{array}{c}P(x)\ge 0andP(x)=0\iff x=0\\ P(ax)=|a|P(x)\\ P(x+y)\le P(x)+P(y)\end{array}$

$$\begin{gathered} \forall x,y\in R^n,\forall 0\le \theta \le 1 \\ P(\theta x+(1-\theta )y)\le P(\theta x)+P((1-\theta )y)=\theta P(x)+(1-\theta )P(y) \end{gathered}$$
一定是凸函数

Ex10：零范数（不是范数）

$||x|{|}_0=$非0元素的数目，不是凸函数

Ex11：极大值函数
f ( x ) = m a x { x 1 , ⋯   , x n } , x ∈ R n ∀   x , y ∈ R n , 0 ≤ θ ≤ 1 f ( θ x + ( 1 − θ ) y ) = m a x { θ x i + ( 1 − θ ) y i } , i = 1 , ⋯   , n ≤ θ m a x { x 1 } + ( 1 − θ ) m a x { y i } , i = 1 , ⋯   , n = θ f ( x ) + ( 1 − θ ) f ( y ) f(x)=max\{x_1,\cdots,x_n\},x \in R^n\\ \forall \space x,y \in R^n,0 \leq \theta \leq 1\\ f(\theta x+(1-\theta)y)=max\{\theta x_i+(1-\theta)y_i\},i=1,\cdots,n\\ \leq \theta max\{x_1\}+(1-\theta)max\{y_i\},i=1,\cdots,n\\ =\theta f(x)+(1-\theta)f(y) f(x)=max{x1​,⋯,xn​},x∈Rn∀ x,y∈Rn,0≤θ≤1f(θx+(1−θ)y)=max{θxi​+(1−θ)yi​},i=1,⋯,n≤θmax{x1​}+(1−θ)max{yi​},i=1,⋯,n=θf(x)+(1−θ)f(y)
为凸函数

Ex12：$log-sum-up$函数，解析逼近
f ( x ) = log ⁡ ( e x 1 + ⋯ + e x n ) , x ∈ R n m a x { x 1 , ⋯   , x n } ≤ f ( x ) ≤ m a x { x 1 , ⋯   , x n } + log ⁡ n ∂ f ∂ x i = e x i e x 1 + ⋯ + e x n i ≠ j , ∂ 2 f ∂ x i ∂ x j = − e x i e x j ( e x 1 + ⋯ + e x n ) 2 i = j , ∂ 2 f ∂ x i ∂ x j = − e x i e x i + e x i ( e x 1 + ⋯ + e x n ) ( e x 1 + ⋯ + e x n ) 2 L e t    z = [ e x 1 , ⋯   , e x n ] T H = 1 ( 1 T z ) 2 { [ e x 1 ( e x 1 + ⋯ + e x n ) ⋯ 0 ⋮ ⋱ ⋮ 0 ⋯ e x 1 ( e x 1 + ⋯ + e x n ) ] − [ e x 1 ⋮ e x n ] [ e x 1 ⋯ e x n ] } = 1 1 T z ( ( 1 T z ) d i a g { z } − z z T ) = 1 1 T z k ∀   v ∈ R n , v T k v ≥ 0 v T k v = ( 1 T z ) v T d i a g { z } v − v T z z T v = ( ∑ i z i ) ( ∑ i v i 2 z i ) − ( ∑ i v i z i ) 2 a i = v i z i , b i = z i = ( b T b ) ( a T a ) − ( a T b ) 2 ≥ 0 ( C a u c h y − S c h w a r t s 不 等 式 ) 得 证 f(x)=\log(e^{x_1}+\cdots+e^{x_n}),x \in R^n\\ max\{x_1,\cdots,x_n\} \leq f(x) \leq max\{x_1,\cdots,x_n\}+\log n\\ \frac{\partial{f}}{\partial{x_i}}=\frac{e^{x_i}}{e^{x_1}+\cdots+e^{x_n}}\\ i \neq j, \frac{\partial^2{f}}{\partial{x_i}\partial{x_j}}=\frac{-e^{x_i}e^{x_j}}{(e^{x_1}+\cdots+e^{x_n})^2}\\ i=j,\frac{\partial^2{f}}{\partial{x_i}\partial{x_j}}=\frac{-e^{x_i}e^{x_i}+e^{x_i}(e^{x_1}+\cdots+e^{x_n})}{(e^{x_1}+\cdots+e^{x_n})^2}\\ Let \space\space z=[e^{x_1},\cdots,e^{x_n}]^T\\ H=\frac{1}{(1^Tz)^2}\{\left[ \begin{matrix} e^{x_1}(e^{x_1}+\cdots+e^{x_n}) & \cdots & 0 \\ \vdots & \ddots & \vdots\\0 & \cdots & e^{x_1}(e^{x_1}+\cdots+e^{x_n}) \end{matrix} \right]-\left[ \begin{matrix} e^{x_1} \\ \vdots \\ e^{x_n} \end{matrix} \right]{\left[ \begin{matrix} e^{x_1} \cdots e^{x_n} \end{matrix} \right]}\}\\ =\frac{1}{1^Tz}((1^Tz)diag\{z\}-zz^T)\\ =\frac{1}{1^Tz} k\\ \forall \space v \in R^n,v^Tkv \geq 0\\ v^Tkv=(1^Tz)v^Tdiag\{z\}v-v^Tzz^Tv\\ =(\sum_i z_i)(\sum_i v^2_iz_i)-(\sum_i v_iz_i)^2\\ a_i=v_i \sqrt{z_i},b_i=\sqrt{z_i}\\ =(b^Tb)(a^Ta)-(a^Tb)^2 \geq 0(Cauchy-Schwarts不等式)得证 f(x)=log(ex1​+⋯+exn​),x∈Rnmax{x1​,⋯,xn​}≤f(x)≤max{x1​,⋯,xn​}+logn∂xi​∂f​=ex1​+⋯+exn​exi​​i​=j,∂xi​∂xj​∂2f​=(ex1​+⋯+exn​)2−exi​exj​​i=j,∂xi​∂xj​∂2f​=(ex1​+⋯+exn​)2−exi​exi​+exi​(ex1​+⋯+exn​)​Let  z=[ex1​,⋯,exn​]TH=(1Tz)21​{⎣⎢⎡​ex1​(ex1​+⋯+exn​)⋮0​⋯⋱⋯​0⋮ex1​(ex1​+⋯+exn​)​⎦⎥⎤​−⎣⎢⎡​ex1​⋮exn​​⎦⎥⎤​[ex1​⋯exn​​]}=1Tz1​((1Tz)diag{z}−zzT)=1Tz1​k∀ v∈Rn,vTkv≥0vTkv=(1Tz)vTdiag{z}v−vTzzTv=(i∑​zi​)(i∑​vi2​zi​)−(i∑​vi​zi​)2ai​=vi​zi​ ​,bi​=zi​ ​=(bTb)(aTa)−(aTb)2≥0(Cauchy−Schwarts不等式)得证

Ex13：几何平均

$f(x)=(x_1\cdots x_n{)}^{\frac{1}{n}},x\in R_{++}^n$，是凹函数

Ex14：行列式对数
f ( x ) = log ⁡ d e t ( x ) , d o m   f = S + + n n = 1 时 ， 凹 函 数 n > 1 时 ， ∀   z ∈ S + + n , ∀   t ∈ R , v ∈ S n z + t v ∈ S + + n g ( t ) = f ( z + t v ) = log ⁡ d e t ( z + t v ) = log ⁡ d e t { z 1 2 ( I + t z − 1 2 v z − 1 2 ) z 1 2 } = log ⁡ d e t ( z ) + ∑ i = 1 n log ⁡ ( 1 + t λ i ) f(x)=\log det(x),dom \space f=S^n_{++}\\ n=1时，凹函数\\ n>1时，\forall \space z \in S^n_{++},\forall \space t \in R,v \in S^n\\ z+tv \in S^n_{++}\\ g(t)=f(z+tv)=\log det(z+tv)\\ =\log det\{z^\frac{1}{2}(I+tz^{-\frac{1}{2}}vz^{-\frac{1}{2}})z^\frac{1}{2}\}\\ =\log det(z)+\sum^n_{i=1} \log(1+t\lambda_i) f(x)=logdet(x),dom f=S++n​n=1时，凹函数n>1时，∀ z∈S++n​,∀ t∈R,v∈Snz+tv∈S++n​g(t)=f(z+tv)=logdet(z+tv)=logdet{z21​(I+tz−21​vz−21​)z21​}=logdet(z)+i=1∑n​log(1+tλi​)
其中：${\lambda }_i:z^{-\frac{1}{2}}v{z}^{-\frac{1}{2}}$的第$i$个特征值，$z^{-\frac{1}{2}}v{z}^{-\frac{1}{2}}$是对称矩阵，可以分解成$Q\Lambda Q^T$,其中$Q{Q}^T=I,detQ=det{Q}^T=1$
$$\begin{gathered} det(I+t{z}^{-\frac{1}{2}}v{z}^{-\frac{1}{2}})=det(Q{Q}^T+Qt\Lambda Q^T) \\ =detQ\cdot det(I+t\Lambda )\cdot det{Q}^T \\ =det(I+t\Lambda )={\Pi }_{i=1}^n(1+t{\lambda }_i) \end{gathered}$$

$$\begin{gathered} g^{\prime }(t)=\sum _i\frac{{\lambda }_i}{1+t{\lambda }_i} \\ {g}^{\prime \prime }(t)=\sum _i\frac{-{\lambda }_i^2}{(1+t{\lambda }_i{)}^2}\le 0 \end{gathered}$$

$g(t)$为凹函数，故$f$为凹函数