凸优化——凸集与凸函数

一、数学规划
  从一个可行解的集合中，寻找出最优的元素，称为数学规划，又名优化。可以写为$$\begin{array}{rl}& minimize{f}_0(x)\\ & subjectto{f}_i(x)<=b_i,i=1,2,...,n\end{array}$$其中$x=[x_1,...,x_n{]}^T$，称为优化变量；$f_0:{\mathbf{R}}^n\to \mathbf{R}$称为目标函数；$f_i:{\mathbf{R}}^n\to \mathbf{R}$称为不等式约束。优化问题的最优解为$x^{\ast }$，等价于 ∀ z ∈ { z ∣ f i ( z ) < = b i } , f 0 ( z ) > = f 0 ( x ∗ ) \forall z \in \{z|f_i(z) <= b_i\}, f_0(z)>=f_0(x^*) ∀z∈{z∣fi​(z)<=bi​},f0​(z)>=f0​(x∗)在图像处理中，对图像$I_0(x,y)$存在噪声，考虑恢复图像$I(x,y)$。考虑先验知识图像的分片光滑，则认为TV范数，形如$$||I|{|}_{TV}=\sum _y\sum _x[(I(x,y)-I(x,y-1){)}^2+(I(x,y)-I(x-1,y){)}^2{]}^{1/2}$$表示两方向差分的平方和开方求和，对于自然图像，TV范数一般较小。故可以化为优化问题：$$\begin{array}{rl}& minimize||I|{|}_{TV}+\lambda ||I-I_0|{|}_F^2\end{array}$$以确保恢复得到的图像光滑的同时，噪声图像与恢复图像相对接近。
  数学规划可以以不同角度分类，包括线性规划问题与非线性规划问题，该类以约束的线性判定；凸优化与非凸优化，该类以约束的凸性判定，凸优化与非凸优化有本质上的差别，线性规划是典型的凸优化问题；光滑优化与非光滑优化，该类以目标函数的可微性判定；连续优化与离散优化，该类以可行域判定，离散优化一般情况下的非凸优化问题；单目标与多目标问题，该类以目标函数的数量判定。

---

二、仿射集
  首先考虑空间不同的两点${\mathbf{x}}_1,{\mathbf{x}}_2\in {\mathbf{R}}^n$，为了表示过这两点的直线方程，定义变量$\theta \in \mathbf{R}$，则该直线为$$\mathbf{y}=\theta {\mathbf{x}}_1+(1-\theta ){\mathbf{x}}_2$$再考虑线段，考虑空间不同的两点${\mathbf{x}}_1,{\mathbf{x}}_2\in {\mathbf{R}}^n$，$\theta \in \mathbf{R}$，线段可以表示为$$\mathbf{y}=\theta {\mathbf{x}}_1+(1-\theta ){\mathbf{x}}_2，\theta \in [0,1]$$基于此，定义仿射集为，对于集合$\mathbf{C}$，$\forall x_1,x_2\in \mathbf{C}$，连接$x_1$与$x_2$的直线也在$\mathbf{C}$内，则称该集合为仿射集。该定义推广到n元仍然有效。
  首先考察仿射集的性质。取仿射集$\mathbf{C}$，定义 V = C − x 0 = { x − x 0 ∣ x ∈ C , ∀ x 0 ∈ C } \bm{V} = \bm{C} - x_0 = \{x - x_0|x \in \bm{C}, \forall x_0 \in \bm{C} \} V=C−x0​={x−x0​∣x∈C,∀x0​∈C}称$\mathbf{V}$为与$\mathbf{C}$相关的子空间。$\mathbf{V}$亦是一个仿射集，考虑$\forall v_1,v_2\in \mathbf{V}$，$\forall a,b\in \mathbf{R}$，考察$a{v}_1+b{v}_2+x_0$与$\mathbf{C}$的关系，有$$a{v}_1+b{v}_2+x_0=a(v_1+x_0)+b(v_2+x_0)+(1-a-b)x_0$$而其中易知$v_1+x_0\in \mathbf{C}$，$v_2+x_0\in \mathbf{C}$，$x_0\in \mathbf{C}$，故$a{v}_1+b{v}_2+x_0\in \mathbf{C}$，即$a{v}_1+b{v}_2\in \mathbf{V}$。故$\mathbf{V}$的性质为$$\forall v_1,v_2\in \mathbf{V},\forall a,b\in \mathbf{R},a{v}_1+b{v}_2+x_0\in \mathbf{C}$$在几何空间中体现为$\mathbf{C}$为任意超平面，而$\mathbf{V}$与$\mathbf{C}$平行且过原点。
  考虑 C = { X ∣ A X = b } \bm{C} = \{\bm{X}|\bm{A}\bm{X} = \bm{b}\} C={X∣AX=b}，并$\forall {\mathbf{X}}_1,{\mathbf{X}}_2\in \mathbf{C}$，则有$$\begin{gathered} \mathbf{A}{\mathbf{X}}_1=\mathbf{b} \\ \mathbf{A}{\mathbf{X}}_2=\mathbf{b} \end{gathered}$$再$\forall \theta \in R$，则有$$\begin{gathered} \theta \mathbf{A}{\mathbf{X}}_1=\mathbf{b} \\ (1-\theta )\mathbf{A}{\mathbf{X}}_2=\mathbf{b} \end{gathered}$$故有$$\theta \mathbf{A}{\mathbf{X}}_1+(1-\theta )\mathbf{A}{\mathbf{X}}_2=\mathbf{b}$$即$\theta {\mathbf{X}}_1+(1-\theta ){\mathbf{X}}_2\in \mathbf{C}$，因此线性方程组的解集是一个仿射集。考虑该解集的子空间 V = { X − X 0 ∣ A X = b } , A X 0 = b \bm{V} = \{\bm{X} - \bm{X}_0 | \bm{A}\bm{X} = \bm{b}\}, \bm{A}\bm{X}_0 = \bm{b} V={X−X0​∣AX=b},AX0​=b即 V = { X − X 0 ∣ A ( X − X 0 ) = 0 } \bm{V} = \{\bm{X} - \bm{X}_0 | \bm{A}(\bm{X} - \bm{X}_0) = \bm{0}\} V={X−X0​∣A(X−X0​)=0}考虑$$\mathbf{Y}=\mathbf{X}-{\mathbf{X}}_0$$则 V = { Y ∣ A Y = 0 } \bm{V} = \{\bm{Y} | \bm{A}\bm{Y} = \bm{0}\} V={Y∣AY=0}，即在高维空间中仍满足$\mathbf{V}$与$\mathbf{C}$平行并且过原点。
  考虑任意集合$\mathbf{C}$，为了构造该集合的最小仿射集，定义仿射包 a f f   C = { θ 1 X 1 + . . . + θ k X k ∣ ∀ X 1 , . . . , X k ∈ C , θ 1 + . . . + θ k = 1 } aff\ \bm{C} = \{ θ_1\bm{X}_1 + ... + θ_k\bm{X}_k | \forall \bm{X}_1, ..., \bm{X}_k \in \bm{C}, θ_1 + ... + θ_k = 1 \} aff C={θ1​X1​+...+θk​Xk​∣∀X1​,...,Xk​∈C,θ1​+...+θk​=1}

---

三、凸集
  对于集合$\mathbf{C}$，$\forall x_1,x_2\in \mathbf{C}$，连接$x_1$与$x_2$的线段也在$\mathbf{C}$内，则称该集合为凸集。该定义推广到n元仍然有效。仿射集是一种特殊的凸集。
  考虑任意集合$\mathbf{C}$，为了构造该集合的最小凸集，定义凸包 C o n v   C = { θ 1 X 1 + . . . + θ k X k ∣ ∀ X 1 , . . . , X k ∈ C , θ 1 , . . . , θ k ∈ [ 0 , 1 ] , θ 1 + . . . + θ k = 1 } Conv\ \bm{C} = \{ θ_1\bm{X}_1 + ... + θ_k\bm{X}_k | \forall \bm{X}_1, ..., \bm{X}_k \in \bm{C}, θ_1, ... , θ_k \in [0, 1], θ_1 + ... + θ_k = 1 \} Conv C={θ1​X1​+...+θk​Xk​∣∀X1​,...,Xk​∈C,θ1​,...,θk​∈[0,1],θ1​+...+θk​=1}  对于集合$\mathbf{C}$，$\forall \mathbf{x}\in \mathbf{C}$，对$\theta >=0$，有$\theta \mathbf{x}\in \mathbf{C}$，则称该集合为锥，锥一定经过原点。而对于集合$\mathbf{C}$，$\forall {\mathbf{x}}_1,{\mathbf{x}}_2\in \mathbf{C}$，对${\theta }_1,{\theta }_2>=0$，有${\theta }_1{\mathbf{x}}_1+{\theta }_2{\mathbf{x}}_2\in \mathbf{C}$，则称该集合为凸锥。考虑任意集合$\mathbf{C}$，可以定义凸锥包 { θ 1 X 1 + . . . + θ k X k ∣ ∀ X 1 , . . . , X k ∈ C , θ 1 , . . . , θ k > = 0 } \{ θ_1\bm{X}_1 + ... + θ_k\bm{X}_k | \forall \bm{X}_1, ..., \bm{X}_k \in \bm{C}, θ_1, ... , θ_k >= 0\} {θ1​X1​+...+θk​Xk​∣∀X1​,...,Xk​∈C,θ1​,...,θk​>=0}  凸集中有几种特殊的形式：一个点是仿射集、凸集，但仅有原点是凸锥；空集是仿射集、凸集、凸锥；${\mathbf{R}}^n$空间是仿射集、凸集、凸锥；${\mathbf{R}}^n$的子空间是仿射集、凸集、凸锥；任意直线是仿射集、凸集，过原点的直线式凸锥；任意线段是凸集，点是仿射集，原点是凸锥； 任意射线是凸集，点是仿射集，过原点的射线是凸锥。
  接下来考虑复杂情况。考虑超平面 { x ∣ a T x = b , a , x ∈ R n , a ≠ 0 , b ∈ R } \{\bm{x}|\bm{a}^T\bm{x} = b, \bm{a}, \bm{x} \in \bm{R}^n, \bm{a} \ne \bm{0}, b \in \bm{R}\} {x∣aTx=b,a,x∈Rn,a​=0,b∈R}，在低维中表现为直线、平面。超平面是仿射集，凸集，超平面过原点，即子空间是一个凸锥。而半空间 { x ∣ a T x > b , a , x ∈ R n , a ≠ 0 , b ∈ R } \{\bm{x}|\bm{a}^T\bm{x} > b, \bm{a}, \bm{x} \in \bm{R}^n, \bm{a} \ne \bm{0}, b \in \bm{R}\} {x∣aTx>b,a,x∈Rn,a​=0,b∈R}或 { x ∣ a T x < = b , a , x ∈ R n , a ≠ 0 , b ∈ R } \{\bm{x}|\bm{a}^T\bm{x} <= b, \bm{a}, \bm{x} \in \bm{R}^n, \bm{a} \ne \bm{0}, b \in \bm{R}\} {x∣aTx<=b,a,x∈Rn,a​=0,b∈R}是一个凸集，不是一个仿射集，过原点时是一个凸锥；球 { x ∣   ∣ ∣ x − x c ∣ ∣ 2 < = r , x c ∈ R n } \{\bm{x}|\ ||\bm{x} - \bm{x}_c||_2 <= r, \bm{x}_c \in \bm{R}^n\} {x∣ ∣∣x−xc​∣∣2​<=r,xc​∈Rn}，低维中表现为圆、球体，是凸集，点是仿射集，原点是凸锥。考虑证明球是凸集，取球 B ( x , x c ) = { x ∣   ∣ ∣ x − x c ∣ ∣ 2 < = r , x c ∈ R n } B(\bm{x}, \bm{x}_c) = \{\bm{x}|\ ||\bm{x} - \bm{x}_c||_2 <= r, \bm{x}_c \in \bm{R}^n\} B(x,xc​)={x∣ ∣∣x−xc​∣∣2​<=r,xc​∈Rn}，$\forall {\mathbf{x}}_1,{\mathbf{x}}_2\in B$，有$||{\mathbf{x}}_1-{\mathbf{x}}_c|{|}_2<=r,||{\mathbf{x}}_2-{\mathbf{x}}_c|{|}_2<=r$，考虑$\theta \in [0,1]$，有$$\begin{array}{rl}& ||\theta {\mathbf{x}}_1+(1-\theta ){\mathbf{x}}_2-{\mathbf{x}}_c|{|}_2\\ =& ||\theta ({\mathbf{x}}_1-{\mathbf{x}}_c)+(1-\theta )({\mathbf{x}}_2-{\mathbf{x}}_c)|{|}_2\\ \le & ||\theta ({\mathbf{x}}_1-{\mathbf{x}}_c)|{|}_2+||(1-\theta )({\mathbf{x}}_2-{\mathbf{x}}_c)|{|}_2\\ =& \theta ||({\mathbf{x}}_1-{\mathbf{x}}_c)|{|}_2+(1-\theta )||({\mathbf{x}}_2-{\mathbf{x}}_c)|{|}_2\\ \le & r\end{array}$$即球中元素的凸组合仍在球内，球是凸集；椭球 { x ∣   ( x − x c ) T P − 1 ( x − x c ) < = 1 , x c ∈ R n , P ∈ S + + n } \{\bm{x}|\ (\bm{x} - \bm{x}_c)^T\bm{P}^{-1}(\bm{x} - \bm{x}_c) <= 1, \bm{x}_c \in \bm{R}^n, \bm{P} \in \bm{S}^n_{++}\} {x∣ (x−xc​)TP−1(x−xc​)<=1,xc​∈Rn,P∈S++n​}，其中${\mathbf{S}}_{++}^n$表示n维正定对称矩阵，$\mathbf{P}$决定了椭球的半轴长。考虑椭球 { x ∣   ( x − x c ) T ( 4 0 0 1 ) − 1 ( x − x c ) < = 1 } \{\bm{x}|\ (\bm{x} - \bm{x}_c)^T\left( \begin{matrix}4 & 0 \\ 0 & 1 \end{matrix} \right )^{-1}(\bm{x} - \bm{x}_c) <= 1\} {x∣ (x−xc​)T(40​01​)−1(x−xc​)<=1}，展开得 { ( x 1 , x 2 ) ∣ 1 / 4 x 1 2 + x 2 2 < = 1 } \{(x_1, x_2)|1/4x_1^2 + x_2^2 <= 1\} {(x1​,x2​)∣1/4x12​+x22​<=1}。椭球是凸集；多面体 { x ∣ a T x < = b j , j = 1 , 2 , . . . m , a T x = d j , j = 1 , 2 , . . . p } \{\bm{x}|\bm{a}^T\bm{x} <= b_j, j = 1, 2, ...m, \bm{a}^T\bm{x} = d_j, j = 1, 2, ...p\} {x∣aTx<=bj​,j=1,2,...m,aTx=dj​,j=1,2,...p}，可以无界，多面体是凸集；单纯形，在${\mathbf{R}}^n$空间中选择${\mathbf{v}}_0,...,{\mathbf{v}}_k$共k+1个点，${\mathbf{v}}_1-{\mathbf{v}}_0,...,{\mathbf{v}}_k-{\mathbf{v}}_0$线性无关，则与上述点相关的单纯形为 C o n v { v 0 , . . . v k } = { θ 0 v 0 + . . . + θ k v k , θ > = 0 , 1 T θ = 1 } Conv\{\bm{v}_0, ... \bm{v}_k\} = \{θ_0\bm{v}_0 + ... + θ_k\bm{v}_k, θ >= 0, \bm{1}^Tθ = 1\} Conv{v0​,...vk​}={θ0​v0​+...+θk​vk​,θ>=0,1Tθ=1}。考虑二维情况，$k=1$时为线段，$k=2$时为三角形，$k>=3$时 { v k } \{\bm{v}_k\} {vk​}不能线性无关。考虑三维情况，单纯形是线段、三角形、正四面体。单纯形一定是一个多面体，考虑证明该命题。记单纯形$C$，$\mathbf{x}\in C,\mathbf{x}={\theta }_0{\mathbf{v}}_0+...+{\theta }_k{\mathbf{v}}_k,\theta >=0,1^T\theta =1$，${\mathbf{v}}_1-{\mathbf{v}}_0,...,{\mathbf{v}}_k-{\mathbf{v}}_0$线性无关。取$({\theta }_1,...,{\theta }_k{)}^T=\mathbf{y},({\mathbf{v}}_1-{\mathbf{v}}_0,...,{\mathbf{v}}_k-{\mathbf{v}}_0)=\mathbf{B}\in {\mathbf{R}}^{n\times k}$，则$1^T\mathbf{y}<=1,\mathbf{y}>=0$，则$$\begin{array}{rl}\mathbf{x}& ={\theta }_0{\mathbf{v}}_0+...+{\theta }_k{\mathbf{v}}_k\\ & ={\mathbf{v}}_0+{\theta }_1({\mathbf{v}}_1-{\mathbf{v}}_0)+...+{\theta }_k({\mathbf{v}}_k-{\mathbf{v}}_0)\\ & ={\mathbf{v}}_0+\mathbf{B}\mathbf{y}\end{array}$$其中，$Rank({\mathbf{B}}_{n\times k})=k，k<=n$，则有非奇异矩阵$\mathbf{A}=\left(\begin{array}{c}{\mathbf{A}}_1\\ {\mathbf{A}}_2\end{array}\right)\in {\mathbf{R}}^{n\times n}$，使得$\mathbf{A}\mathbf{B}=\left(\begin{array}{c}{\mathbf{A}}_1\\ {\mathbf{A}}_2\end{array}\right)\mathbf{B}=\left(\begin{array}{c}{\mathbf{I}}_k\\ 0\end{array}\right)$。故有$\mathbf{A}\mathbf{x}=\mathbf{A}{\mathbf{v}}_0+\mathbf{A}\mathbf{B}\mathbf{y}$，即$$\left(\begin{array}{c}{\mathbf{A}}_1\\ {\mathbf{A}}_2\end{array}\right)\mathbf{x}=\left(\begin{array}{c}{\mathbf{A}}_1\\ {\mathbf{A}}_2\end{array}\right){\mathbf{v}}_0+\left(\begin{array}{c}{\mathbf{A}}_1\\ {\mathbf{A}}_2\end{array}\right)\mathbf{B}\mathbf{y}$$展开得$$\begin{gathered} {\mathbf{A}}_1\mathbf{x}={\mathbf{A}}_1{\mathbf{v}}_0+\mathbf{y} \\ {\mathbf{A}}_2\mathbf{x}={\mathbf{A}}_2{\mathbf{v}}_0 \end{gathered}$$考虑$1^T\mathbf{y}<=1,\mathbf{y}>=0$，有$$\begin{gathered} {\mathbf{A}}_1\mathbf{x}>={\mathbf{A}}_1{\mathbf{v}}_0 \\ {1}^T{\mathbf{A}}_1\mathbf{x}<=1^T{\mathbf{A}}_1{\mathbf{v}}_0+1 \\ {\mathbf{A}}_2\mathbf{x}={\mathbf{A}}_2{\mathbf{v}}_0 \end{gathered}$$得证。考虑对称矩阵集合${\mathbf{S}}^n$，对称半正定矩阵集合${\mathbf{S}}_{+}^n$与对称正定矩阵集合${\mathbf{S}}_{+}^n+$。现在证明${\mathbf{S}}_{+}^n$是凸集、凸锥。$\forall {\theta }_1,{\theta }_2>=0,\forall \mathbf{A},\mathbf{B}\in {\mathbf{S}}_{+}^n$，则有$\forall \mathbf{X}\in {\mathbf{R}}^n,{\mathbf{X}}^T\mathbf{A}\mathbf{X}>=0,{\mathbf{X}}^T\mathbf{B}\mathbf{X}>=0$，则${\mathbf{X}}^T({\theta }_1\mathbf{A}+{\theta }_2\mathbf{B})\mathbf{X}={\theta }_1{\mathbf{X}}^T\mathbf{A}\mathbf{X}+{\theta }_2{\mathbf{X}}^T\mathbf{B}\mathbf{X}>=0$，即对称半正定矩阵是凸锥。但对称正定矩阵不是凸锥，但是一个凸集。

---

四、保凸运算
  若$S_1,S_2$是凸集，则$S_1\cap S_2$是凸集，该结论可以推广到n个凸集的情况。
  考虑函数$f(\mathbf{x})=\mathbf{A}\mathbf{x}+\mathbf{b},\mathbf{A}\in {\mathbf{R}}^{m\times n},\mathbf{b}\in {\mathbf{R}}^m$，则$f:{\mathbf{R}}^n\to {\mathbf{R}}^m$是仿射函数。若$S\in {\mathbf{R}}^n$是凸集，$f:{\mathbf{R}}^n\to {\mathbf{R}}^m$是仿射函数，则 f ( S ) = { f ( x ) ∣ x ∈ S } f(S) = \{f(\bm{x})|\bm{x} \in S\} f(S)={f(x)∣x∈S}是凸集，逆仿射函数$f^{-1}$仍然是凸集。
  若$S_1,S_2$是凸集，则 { x + y ∣ x ∈ S 1 , y ∈ S 2 } \{x+y|x \in S_1, y \in S_2\} {x+y∣x∈S1​,y∈S2​}是凸集, { ( x , y ) ∣ x ∈ S 1 , y ∈ S 2 } \{(x, y)|x \in S_1, y \in S_2\} {(x,y)∣x∈S1​,y∈S2​}是凸集。
  考虑线性矩阵不等式【LMI】$A(\mathbf{X})={\mathbf{X}}_1{\mathbf{A}}_1+...+{\mathbf{X}}_n{\mathbf{A}}_n⪯\mathbf{B},\mathbf{B},{\mathbf{A}}_i,{\mathbf{X}}_i\in {\mathbf{S}}^m$，其中$A(\mathbf{X})⪯\mathbf{B}$表示$(A(\mathbf{X})-\mathbf{B})$是半负定矩阵，则 { X ∣ A ( X ) ⪯ B } \{\bm{X}|A(\bm{X})\preceq\bm{B}\} {X∣A(X)⪯B}是一个凸集。考虑仿射变换$f(\mathbf{X})=\mathbf{B}-A(\mathbf{X})$，而对称半正定矩阵是凸锥，则有 f − 1 ( S + n ) = { X ∣ B − A ( X ) ⪰ 0 } f^{-1}(\bm{S}^n_+) = \{\bm{X} | \bm{B} - A(\bm{X}) \succeq 0\} f−1(S+n​)={X∣B−A(X)⪰0}也是凸集，即LMI的解集也是凸集。
  考虑函数$p(\mathbf{z},t)=\mathbf{z}/t,\mathbf{z}\in {\mathbf{R}}^n,t\in R_{++}$，则称该函数为透视函数。若$(\mathbf{z},t)$是凸集，则其透视函数$p(\mathbf{z},t)$是凸集。考虑高维的两点$\mathbf{x},\mathbf{y}\in {\mathbf{R}}^{n+1}$，则经过这两点的线段为$\theta \mathbf{x}+(1-\theta )\mathbf{y}$，其透视函数为$$\begin{array}{rl}p(\theta \mathbf{x}+(1-\theta )\mathbf{y})& =(\theta {\mathbf{x}}^{\prime }+(1-\theta ){\mathbf{y}}^{\prime })/(\theta x_{n+1}+(1-\theta )y_{n+1})\\ & =\theta x_{n+1}/(\theta x_{n+1}+(1-\theta )y_{n+1})({\mathbf{x}}^{\prime }/x_{n+1})+(1-\theta )y_{n+1}/(\theta x_{n+1}+(1-\theta )y_{n+1})({\mathbf{y}}^{\prime }/y_{n+1})\\ & =\mu p({\mathbf{x}}^{\prime },x_{n+1})+(1-\mu )({\mathbf{y}}^{\prime },y_{n+1})\end{array}$$其中$\mu =\theta x_{n+1}/(\theta x_{n+1}+(1-\theta )y_{n+1})$，该结果是一个凸组合。再考虑反透视映射 p − 1 ( c ) = { ( x , t ) ∈ R n + 1 ∣ x / t ∈ c , t > 0 } p^{-1}(\bm{c}) = \{(\bm{x}, t)\in \bm{R}^{n+1}|\bm{x}/t \in \bm{c}, t>0\} p−1(c)={(x,t)∈Rn+1∣x/t∈c,t>0}，其亦是凸集。
  考虑仿射函数$g(\mathbf{x})=(\mathbf{A},{\mathbf{c}}^T{)}^T\mathbf{x}+(\mathbf{b},d{)}^T,\mathbf{A}\in {\mathbf{R}}^{m\times n},\mathbf{C}\in {\mathbf{R}}^n,\mathbf{b}\in {\mathbf{R}}^m,d\in R$，与透视函数$p:{\mathbf{R}}^{m+1}\to {\mathbf{R}}^m$，则定义线性分式函数$f:pg$，即 f ( x ) = ( A x + b ) / ( C T x + d ) , d o m   f = { x ∣ C T x + d > 0 } f(\bm{x}) = (\bm{A}\bm{x} + \bm{b})/(\bm{C}^T\bm{x} + d), dom\ f=\{\bm{x}|\bm{C}^T\bm{x} + d>0\} f(x)=(Ax+b)/(CTx+d),dom f={x∣CTx+d>0}，任意凸集的线性分式函数仍是凸集。考虑两个随机变量联合概率的条件概率，其中 u = { 1 , . . . , n } , v = { 1 , . . . , m } u = \{1, ..., n\}, v = \{1, ..., m\} u={1,...,n},v={1,...,m}，则联合概率$p_{ij}=P(u=i,v=j)$，以及条件概$f_{i|j}=P(u=i|v=j)$，则$$f_{i|j}=p_{ij}/\sum p_{k|j}$$该式是一个线性分式映射。

---

五、凸函数
  定义函数$f:{\mathbf{R}}^n\to R$，若$domf$是凸集，且对于任意$\mathbf{x},\mathbf{y}\in domf$与$0\le \theta \le 1$，都有$$f(\theta \mathbf{x}+(1-\theta )\mathbf{y})\le \theta f(\mathbf{x})+(1-\theta )f(\mathbf{y})$$则称函数$f$是凸函数。若该式在$\mathbf{x}\ne \mathbf{y},0<\theta <1$时成立，则称$f$严格凸。若$f$是凸的，则$-f$是凹的。
  对于任意的凸函数$f$，考虑在$domf$上过点$\mathbf{x}$的直线$\mathbf{x}+t\mathbf{v}$，则$g(t)=f(\mathbf{x}+t\mathbf{v})$是凸的。这有助于将凸函数限制在直线上判断凸性。
  对于任意的凸函数$f$，可以拓展为$$\begin{array}{rl}g(\mathbf{x})& =f(\mathbf{x}),\mathbf{x}\in domf\\ & =\infty ,\mathbf{x}\notin domf\end{array}$$拓展后的$g$仍是一个凸函数。
  考虑凸函数的一阶条件。若函数$f:{\mathbf{R}}^n\to R$可微，即梯度$▽f$在$domf$上均存在，则$f$为凸函数等价于$domf$为凸且$$f(\mathbf{y})\ge f(\mathbf{x})+▽f^T(\mathbf{x})(\mathbf{y}-\mathbf{x}),\forall \mathbf{x},\mathbf{y}\in domf$$这是一条重要的性质，考虑存在$▽f^T(\mathbf{x})=0$的情况，则上述式为$f(\mathbf{y})\ge f(\mathbf{x}),\forall \mathbf{x},\mathbf{y}\in domf$，这是凸优化的重要思想。
  考虑凸函数的二阶条件。若函数$f:{\mathbf{R}}^n\to R$二阶可微，则$f$为凸函数等价于$domf$为凸且$$▽f^2(\mathbf{x})⪰0,\forall \mathbf{x}\in domf$$其中$▽f^2(\mathbf{x})$是海森【Hession】矩阵。
  考虑二次函数$f:{\mathbf{R}}^n\to R$，形如$f(\mathbf{x})={\mathbf{x}}^T\mathbf{P}\mathbf{x}/2+{\mathbf{q}}^T\mathbf{x}+r,\mathbf{P}\in {\mathbf{S}}^n,\mathbf{q}\in {\mathbf{R}}^n,r\in R$考察其凸性，只需考察其海森矩阵$▽f^2(\mathbf{x})=\mathbf{P}$。
  考虑仿射函数$f(\mathbf{x})=\mathbf{A}\mathbf{x}+\mathbf{b}$，其海森矩阵$▽f^2(\mathbf{x})=0$，即凸又凹。
  考虑指数函数$f(\mathbf{x})=e^{a\mathbf{x}}$，其海森矩阵$▽f^2(\mathbf{x})=a^2{e}^{a\mathbf{x}}⪰0$，为凸。
  考虑幂函数$f(\mathbf{x})={\mathbf{x}}^a,x\in R_{++}$，其海森矩阵$▽f^2(\mathbf{x})=a(a-1){\mathbf{x}}^{a-2}$，当$0\le a\le 1$，为凸。
  考虑负熵$f(x)=xlogx,x\in R_{++}$，其二阶导数为$1/x$，是严格凸的函数。
  考虑范数$p(\mathbf{x}),\mathbf{x}\in {\mathbf{R}}^n$满足$$\begin{gathered} p(a\mathbf{x})=|a|p(\mathbf{x}) \\ p(\mathbf{x}+\mathbf{y})\le p(\mathbf{x})+p(\mathbf{y}) \\ p(\mathbf{x})=0,\mathbf{x}=0 \end{gathered}$$考察范数的凸性。$\forall \mathbf{x},\mathbf{y}\in {\mathbf{R}}^n,\forall \theta \in [0,1]$，有$$\begin{array}{rl}p(\theta \mathbf{x}+(1-\theta )\mathbf{y})& \le p(\theta \mathbf{x})+p((1-\theta )\mathbf{y})\\ & =\theta p(\mathbf{x})+(1-\theta )p(\mathbf{y})\end{array}$$即范数为凸。而考虑0范数 ∣ ∣ x ∣ ∣ 0 = n u m { x ∣ x i ≠ 0 } ||\bm{x}||_0 = num\{\bm{x}|x_{i} \ne 0\} ∣∣x∣∣0​=num{x∣xi​​=0}0范数不是范数，也非凸。
  考虑极大值函数 f ( x ) = m a x { x 1 , . . . , x n } , x ∈ R n f(\bm{x}) = max\{x_1, ..., x_n\}, \bm{x} \in \bm{R}^n f(x)=max{x1​,...,xn​},x∈Rn，$\forall \mathbf{x},\mathbf{y}\in {\mathbf{R}}^n,\forall \theta \in [0,1]$，有 f ( θ x + ( 1 − θ ) y ) = m a x { θ x i + ( 1 − θ ) y i , i = 1 , . . . , n } ≤ θ m a x { x i } + ( 1 − θ ) m a x { y i } , i = 1 , . . . , n \begin{aligned} f(\theta\bm{x} + (1 - \theta)\bm{y}) &= max\{\theta x_i + (1 - \theta)y_i, i = 1, ..., n\} \\ &\le \theta max\{x_i\} + (1 - \theta) max\{y_i\}, i = 1, ..., n\end{aligned} f(θx+(1−θ)y)​=max{θxi​+(1−θ)yi​,i=1,...,n}≤θmax{xi​}+(1−θ)max{yi​},i=1,...,n​即极大值函数为凸。极大值函数不可导，为了解决该问题，使用解析逼近解决该问题，形如 f ( x ) = l o g ( e x 1 + . . . + e x n ) , x ∈ R n m a x { x i } ≤ f ( x ) ≤ m a x { x i } + l o g n f(\bm{x}) = log(e^{x_1} + ... + e^{x_n}), \bm{x} \in \bm{R}^n \\ max\{x_i\} \le f(\bm{x}) \le max\{x_i\} + logn f(x)=log(ex1​+...+exn​),x∈Rnmax{xi​}≤f(x)≤max{xi​}+logn其海森矩阵为$$\begin{gathered} \partial f/\partial x_i=e^{x_i}/\sum e^{x_i} \\ {\mathbf{H}}_{ij}=\partial f^2/\partial x_i\partial x_j \\ \partial f^2/\partial x_i\partial x_j=-e^{x_i}{e}^{x_j}/(\sum e^{x_i}{)}^2,i\ne j \\ \partial f^2/\partial x_i\partial x_j=(-e^{x_i}{e}^{x_i}+e^{x_i}\sum e^{x_i})/(\sum e^{x_i}{)}^2,i=j \end{gathered}$$则有$$\mathbf{H}=1/(\sum e^{x_i}{)}^2[diag(e^{x_i}\sum e^{x_i})-(e^{x_1},...,e^{x_n}{)}^T(e^{x_1},...,e^{x_n})]$$考察$\mathbf{H}$的半正定性，即$\forall \mathbf{V}\in {\mathbf{R}}^n,{\mathbf{V}}^T\mathbf{H}\mathbf{V}\ge 0$，取$\mathbf{z}=(e^{x_1},...,e^{x_n})$不考虑正数系数，有$$\begin{array}{rl}{\mathbf{V}}^T\mathbf{H}\mathbf{V}& =k_{++}[(1^T\mathbf{z}){\mathbf{V}}^{T}diag(\mathbf{z})\mathbf{V}-{\mathbf{V}}^T\mathbf{z}{\mathbf{z}}^T\mathbf{V}]\\ & =k_{++}[\sum z_i\sum v_i^2{z}_i-(\sum v_i{z}_i{)}^2]\end{array}$$取$a_i=v_i(z_i{)}^{1/2},b_i=z_i^{1/2}$，有$$\begin{array}{rl}{\mathbf{V}}^T\mathbf{H}\mathbf{V}& =k_{++}[\sum z_i\sum v_i^2{z}_i-(\sum v_i{z}_i{)}^2]\\ & =k_{++}[{\mathbf{b}}^T\mathbf{b}{\mathbf{a}}^T\mathbf{a}-({\mathbf{a}}^T\mathbf{b}{)}^2]\end{array}$$由柯西施瓦茨【Cauchy-Schwarz】不等式，该式非负，即极大值解析函数为凸。

---

六、保凸函数
  若$f_1,...f_m$是凸函数，则其非负加权和，即$$f=\sum w_i{f}_i,w_i\ge 0$$为凸。推广到连续情况，若$f(x,y)$对于任何$y\in A$均为凸，设$w(y)\ge 0$，则$$g(x)={\int }_{y\in A}w(y)f(x,y)dy$$为凸。
  考虑$f:{\mathbf{R}}^n\to R,\mathbf{A}\in {\mathbf{R}}^{n\times m},\mathbf{b}\in {\mathbf{R}}^n$，定义函数$g(\mathbf{x})=f(\mathbf{A}\mathbf{x}+\mathbf{b})$，若$f$为凸，则$g$为凸。考虑$\forall \mathbf{x},\mathbf{y}\in domg,0\le \theta \le 1$，有$$\begin{array}{rl}g(\theta \mathbf{x}+(1-\theta )\mathbf{y})& =f(\theta \mathbf{A}\mathbf{x}+(1-\theta )\mathbf{A}\mathbf{y}+\mathbf{b})\\ & =f(\theta (\mathbf{A}\mathbf{x}+\mathbf{b})+(1-\theta )(\mathbf{A}\mathbf{y}+\mathbf{b}))\\ & \le \theta f(\mathbf{A}\mathbf{x}+\mathbf{b})+(1-\theta )f(\mathbf{A}\mathbf{y}+\mathbf{b})\\ & =\theta g(\mathbf{x})+(1-\theta )g(\mathbf{y})\end{array}$$该问题先仿射，再映射；再考虑映射后仿射，即$f_i:{\mathbf{R}}^n\to R,\mathbf{A}\in {\mathbf{R}}^n,b\in R$，定义函数$g(\mathbf{x})=\mathbf{A}(f_1(\mathbf{x}),...,f_n(\mathbf{x}){)}^T+b$，若$\mathbf{A}$均为正，则该式是一个非负加权和。
  考虑两个函数的极大值函数，$f_1$与$f_2$为凸，则 f ( x ) = m a x { f 1 ( x ) , f 2 ( x ) } f(x) = max\{f_1(x), f_2(x)\} f(x)=max{f1​(x),f2​(x)}为凸。考虑$\forall \mathbf{x},\mathbf{y}\in domf,0\le \theta \le 1$，有 f ( θ x + ( 1 − θ ) y ) = m a x { f 1 ( θ x + ( 1 − θ ) y ) , f 2 ( θ x + ( 1 − θ ) y ) } ≤ m a x { θ f 1 ( x ) + ( 1 − θ ) f 1 ( y ) , θ f 2 ( x ) + ( 1 − θ ) f 2 ( y ) } ≤ m a x { θ f 1 ( x ) , θ f 2 ( x ) } + m a x { ( 1 − θ ) f 1 ( y ) , ( 1 − θ ) f 2 ( y ) } = θ f ( x ) + ( 1 − θ ) f ( y ) \begin{aligned} f(\theta\bm{x} + (1 - \theta)\bm{y}) &= max\{f_1(\theta\bm{x} + (1 - \theta)\bm{y}), f_2(\theta\bm{x} + (1 - \theta)\bm{y})\} \\&\le max\{\theta f_1(\bm{x}) + (1 - \theta)f_1(\bm{y}), \theta f_2(\bm{x}) + (1 - \theta)f_2(\bm{y})\} \\&\le max\{\theta f_1(\bm{x}), \theta f_2(\bm{x})\} + max\{(1 - \theta)f_1(\bm{y}), (1 - \theta)f_2(\bm{y})\} \\&= \theta f(\bm{x}) + (1 - \theta)f(\bm{y}) \end{aligned} f(θx+(1−θ)y)​=max{f1​(θx+(1−θ)y),f2​(θx+(1−θ)y)}≤max{θf1​(x)+(1−θ)f1​(y),θf2​(x)+(1−θ)f2​(y)}≤max{θf1​(x),θf2​(x)}+max{(1−θ)f1​(y),(1−θ)f2​(y)}=θf(x)+(1−θ)f(y)​  考虑函数的组合，定义$h:{\mathbf{R}}^k\to R,g:{\mathbf{R}}^n\to {\mathbf{R}}^k$，则其函数组合为$f=hg:{\mathbf{R}}^n\to R$，其定义域 d o m   f = { x ∈ d o m   g ∣ g ( x ) ∈ d o m   h } dom\ f = \{x\in dom\ g|g(x) \in dom\ h\} dom f={x∈dom g∣g(x)∈dom h}。考察定义在$R$上一维二阶可微函数的凸性，即$f(x)=h(g(x))$的二阶导数$$df(x{)}^2/d^{2}x=d{h}^2(g(x))/d^{2}g(x)\cdot (dg(x)/dx{)}^2+dh(g(x))/dg(x)\cdot dg(x{)}^2/d^{2}x$$则有$h$为凸且单调不减，而$g$为凸函数时，$f$为凸；或$h$为凸且单调不增，而$g$为凹函数时，$f$为凸。再考虑复杂情况，即高维、非实数全空间定义或二阶不可微时，分别使用海森矩阵、扩展函数与原始定义来解决。
  定义函数$f:{\mathbf{R}}^n\to R,g:{\mathbf{R}}^n\times R_{++}\to R$，其中$$g(\mathbf{x},t)=tf(\mathbf{x}/t)$$其中 d o m   g = { ( x , t ) ∣ t > 0 , x / t ∈ d o m   f } dom\ g = \{(\bm{x}, t)|t >0, \bm{x}/t \in dom\ f\} dom g={(x,t)∣t>0,x/t∈dom f}。那么若$f$为凸，则$g$为凸。
  考虑负对数$f(x)=-logx$，其是一个凸函数，而其透视$g(x,t)=tlog(t/x)$也是凸的。再考虑$\mathbf{u},\mathbf{v}\in {\mathbf{R}}_{++}^n$，那么$g(\mathbf{u},\mathbf{v})=\sum u_{i}lovg(u_i/v_i)$也是凸的，其是凸函数的和。再考虑$$D_{KL}(\mathbf{u},\mathbf{v})=\sum (u_{i}log(u_i/v_i)-u_i+v_i)$$称为KL散度，其是一个凸函数，并且是一种Bregman散度。考虑函数$f:R\to R$为凸，则其Bregman散度为$$D_B(u,v)=f(u)-f(v)-▽f(v)(u-v)$$当取$f(\mathbf{u})=\sum u_{i}log{u}_i-\sum u_i$时，其退化为KL散度，因为Bregman不保凸。

---

七、拟凸函数
  考虑函数$f:{\mathbf{R}}^n\to R$，其α下水平集【α-sublevel set】定义为 C α = { x ∈ d o m   f ∣ f ( x ) ≤ α } C_\alpha=\{\bm{x} \in dom\ f|f(\bm{x}) \le \alpha\} Cα​={x∈dom f∣f(x)≤α}凸函数的所有下水平集都是凸集，对于$\forall \mathbf{x},\mathbf{y}\in C_{\alpha },f(\mathbf{x})\le \alpha ,f(\mathbf{y})\le \alpha$，有$$\begin{array}{rl}f(\theta \mathbf{x}+(1-\theta )\mathbf{y})& \le \theta f(\mathbf{x})+(1-\theta )f(\mathbf{y})\\ & \le \alpha \end{array}$$即对任意的$\alpha$都满足。但该性质反之则不成立。
  考虑下水平集的意义，对于凸函数$f:{\mathbf{R}}^2\to R$， 将函数空间投影到几何平面时，当$\alpha$增大，其下水平集投影是单调不减的凸集，推广到高维亦然。
  而对于这样的函数，其不是凸函数，但其下水平集是凸集，称为拟凸函数。若一个函数是凸函数，则其一定是一个拟凸函数，但反之不成立，拟凸函数甚至可能是一个凹函数。拟凸函数也称单模态函数，一般来讲，凸优化算法亦适用于拟凸函数。拟凸函数可以用数字语言定义，形如 m a x { f ( x ) , f ( y ) } ≥ f ( θ x + ( 1 − θ ) y ) max\{f(\bm{x}), f(\bm{y})\} \ge f(\theta\bm{x} + (1 - \theta)\bm{y}) max{f(x),f(y)}≥f(θx+(1−θ)y)则称$f$为拟凸函数。
  对于一个拟凸函数$f$，若其一阶可微，则有若$f(\mathbf{y})\le f(\mathbf{x})$，则$▽f^T(\mathbf{x})(\mathbf{y}-\mathbf{x})\le 0$。
  对于一个拟凸函数$f$，若其二阶可微，则有若${\mathbf{y}}^T▽f\ge 0$，则${\mathbf{y}}^T{▽}^{2}f\mathbf{y}\ge 0$。