凸优化——前戏

凸优化的内容较多，不打算一次编辑完，先把“几何体的表达”以及“仿射集和凸集”梳理清楚。

几何体的向量表达(铺路)

给定二维平面上两个定点：$\mathbf{a}(u_1,v_2),\mathbf{b}(u_1,v_2)$,则：

• 直线：$\vec{x}=\theta \cdot \vec{a}+(1-\theta )\vec{b},\theta \in \mathbb{R}$
• 线段：$\vec{x}=\theta \cdot \vec{a}+(1-\theta )\vec{b},\theta \in [0,1]$

推广到高维：

• 三维中二维平面：$\vec{x}={\theta }_1\cdot \overrightarrow{a_1}+({\theta }_2){\vec{a}}_2+({\theta }_3){\vec{a}}_3,{\theta }_1,{\theta }_2,{\theta }_3\in \mathbb{R},{\theta }_1+{\theta }_2+{\theta }_3=1$
• 三维中二维平面三角形：$\vec{x}={\theta }_1\cdot \overrightarrow{a_1}+({\theta }_2){\vec{a}}_2+({\theta }_3){\vec{a}}_3,{\theta }_1,{\theta }_2,{\theta }_3\in [0,1],{\theta }_1+{\theta }_2+{\theta }_3=1$
• 超平面：$$\vec{x}={\theta }_1\cdot \overrightarrow{a_1}+({\theta }_2){\vec{a}}_2+\cdots +({\theta }_k){\vec{a}}_k,{\theta }_1,{\theta }_2,\cdots ,{\theta }_3\in \mathbb{R},{\theta }_1+{\theta }_2+\cdots +{\theta }_3=1$$
• 超几何体(超平面中的一部分)：$$\vec{x}={\theta }_1\cdot \overrightarrow{a_1}+({\theta }_2){\vec{a}}_2+\cdots +({\theta }_k){\vec{a}}_k,{\theta }_1,{\theta }_2,\cdots ,{\theta }_3\in [0,1],{\theta }_1+{\theta }_2+\cdots +{\theta }_3=1$$

仿射集（Affine set）

定义：通过集合$C$中任意两个不同点的直线仍然在集合$C$内
$$\forall {\mathbf{x}}_1,{\mathbf{x}}_2\in \mathbf{C},\forall \theta \in \mathbb{R},则x=\theta \cdot {\mathbf{x}}_1+(1-\theta )\cdot {\mathbf{x}}_2\in \mathbf{C}$$这就好比在${\mathbb{R}}^n$维空间中子空间的定义一样，要求子空间满足加法和数乘的封闭性。

仿射集的例子：直线，平面，超平面（可见仿射集是一个集合无限大的概念）

• 超平面：$A\mathbf{x}=\mathbf{b}$
  • 三维空间中平面的表达：$$(a,b,c)\cdot (x-x_0,y-y_0,z-z_0)=0$$其中$(a,b,c)$为该平面的法向量$\mathbf{n},(x_0,y_0,z_0)$为该平面上的定点${\mathbf{x}}_0$进一步可得：$$\mathbf{n}{\mathbf{x}}^T=m$$其中，$m=\mathbf{n}{\mathbf{x}}_0^T$。超平面可以这么类比，其中$A$是该超平面的法向量。
• $f(\mathbf{x})=0$表示定义域在${\mathbb{R}}^n$上的超曲面，超平面是超曲面的一种特殊形式，超平面内部的表达式最高为一次项。
• 三维空间的平面是二维的，$n$维空间的$n-1$维仿射集为$n-1$维超平面。因此我们可以这么说，仿射集就是超平面。

凸集

定义：集合$\mathbf{C}$内任意两点间的线段均在集合$\mathbf{C}$内，则称集合$\mathbf{C}$为凸集
$$\forall {\mathbf{x}}_1,{\mathbf{x}}_2\in \mathbf{C},\forall \theta \in [0,1],则x=\theta \cdot {\mathbf{x}}_1+(1-\theta )\cdot {\mathbf{x}}_2\in \mathbf{C}$$与仿射集相比，凸集的定义限制更为严格，且凸集既可以是有限空间，又可以是无限空间，仿射集一定是凸集，凸集不一定是仿射集。

$k$个点的凸集定义版本：
$$\forall {\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_k\in \mathbf{C},{\theta }_i\in [0,1],且\sum _{i=1}^k{\theta }_i=1,则\sum _{i=1}^k{\theta }_i{\mathbf{x}}_i\in \mathbf{C}$$这两种表述是一样的。

凸集示意：

凸包：集合$\mathbf{C}$的所有点的凸组合形成的集合，称为集合$\mathbf{C}$的凸包。$$conv\mathbf{C}=\left\{\sum _{i=1}^k{\theta }_i{\mathbf{x}}_i|{\mathbf{x}}_i\in \mathbf{C},{\theta }_i\ge 0,\sum _{i=1}^k{\theta }_i=0\right\}$$因此，集合$\mathbf{C}$的凸包是能够包含$\mathbf{C}$的最小凸集。

超平面、半空间和多面体

• 超平面hyperplane { x ∣ a T x = b } \{\bm x|\bm{a^Tx}=b\} {x∣aTx=b}

• 半空间halfspace { x ∣ a T x ≥ b } { x ∣ a T x ≤ b } \{\bm x|\bm{a^Tx}\ge b\}\quad\{\bm x|\bm{a^Tx}\le b\} {x∣aTx≥b}{x∣aTx≤b}
  

• 欧式球和椭球：

  • 欧式求 B ( x c , r ) = { x ∣ ∥ x − x c ∥ 2 ≤ r } = { x ∣ ( x − x c ) T ( x − x c ) ≤ r 2 } \bm B(\bm x_c,r)=\{\bm x|\|\bm x-\bm x_c\|_2\le r\}\\=\{\bm x|(\bm x-\bm x_c)^T(\bm x-\bm x_c)\le r^2\} B(xc​,r)={x∣∥x−xc​∥2​≤r}={x∣(x−xc​)T(x−xc​)≤r2}
  • 椭球 E = { x ∣ ( x − x c ) T P ( x − x c ) ≤ r 2 } \bm E=\{\bm x|(\bm x-\bm x_c)^T\bm P(\bm x-\bm x_c)\le r^2\} E={x∣(x−xc​)TP(x−xc​)≤r2}$\mathbf{P}$为对称正定矩阵。通过对比二维平面的椭圆方程$\frac{x^2}{a^2}+\frac{y^2}{b^2}=1$来理解。

• 范数球和范数锥：

  • 范数球 B ( x c , r ) = { x ∣ ∥ x − x c ∥ 2 ≤ r } \bm B(\bm x_c,r)=\{\bm x|\|\bm x-\bm x_c\|_2\le r\} B(xc​,r)={x∣∥x−xc​∥2​≤r}
  • 范数锥 { ( x , t ) ∣ ∥ x ∥ ≤ t } \{(\bm x,t)|\|\bm x\|\le t\} {(x,t)∣∥x∥≤t}范数锥表示的空间显然是锥的内部空间。

• 多面体：

  • 多面体是有限个半空间和超平面的交集
    P = { x ∣ a j T x ≤ b j , ∣ c j T x = d j , } \bm P=\{\bm x|\bm{a^T_jx}\le b_j,|\bm{c^T_jx}=d_j,\} P={x∣ajT​x≤bj​,∣cjT​x=dj​,}
  • 仿射集（如直线、平面和超平面）、射线、线段、半空间都是多面体。
  • 显然，多面体是凸集。

凸集具有的重要性质

令${\mathbf{S}}_1\subseteq {\mathbb{R}}^n$和${\mathbf{S}}_2\subseteq {\mathbb{R}}^m$是凸集，并且$\mathbf{f}(\mathbf{x}):{\mathbb{R}}^n\to {\mathbb{R}}^m为仿射函数\mathbf{f}(\mathbf{x})=\mathbf{A}\mathbf{x}+\mathbf{b}$，则以下运算为凸集：

1. 任意多个凸集的交集(其中$m=n$)仍然是凸集。$\surd$
2. 和集 S 1 + S 1 = { z = x + y ∣ x ∈ S 1 , y ∈ S 2 } ( 其 中 m = n ) \bm S_1+\bm S_1=\{\bm{z=x+y}|\bm{x\in\bm S_1,y\in\bm S_2}\}(其中m=n) S1​+S1​={z=x+y∣x∈S1​,y∈S2​}(其中m=n)为凸集。$\surd$
3. 直和 S 1 ⊕ S 2 = { ( x , y ) ∈ R n + m ∣ x ∈ S 1 , y ∈ S 2 } \bm S_1\oplus\bm S_2=\{\bm{(x,y)}\in \mathbb R^{n+m}|\bm{x\in\bm S_1,y\in\bm S_2}\} S1​⊕S2​={(x,y)∈Rn+m∣x∈S1​,y∈S2​}为凸集。$\surd$
4. 锥包 K ( S 1 ) = { z ∈ R n ∣ z = β x , x ∈ S 1 , β ≥ 0 } \mathcal K(\bm S_1)=\{\bm z\in \mathbb R^{n}|\bm{z=\beta \bm x,x\in\bm S_1},\beta\ge0\} K(S1​)={z∈Rn∣z=βx,x∈S1​,β≥0}为凸集。
5. 仿射象 f ( S 1 ) = { y ∈ R m ∣ y = f ( x ) , x ∈ S 1 } \bm f(\bm S_1)=\{\bm y\in\mathbb R^m|\bm y=\bm f(\bm x),\bm{x\in S_1}\} f(S1​)={y∈Rm∣y=f(x),x∈S1​}为凸集。
6. 逆仿射象 f − 1 ( S 2 ) = { x ∈ R n ∣ x = f − 1 ( x ) , x ∈ S 1 } \bm f^{-1}(\bm S_2)=\{\bm x\in\mathbb R^n|\bm x=\bm f^{-1}(\bm x),\bm{x\in S_1}\} f−1(S2​)={x∈Rn∣x=f−1(x),x∈S1​}为凸集。
7. 维数相同的两个凸集$(m=n)$的凸组合形成的集合是凸集，这是凸包的外延。

仿射变换

• 仿射变换是在线性变换的基础上加一个平移项，公式为：$$\mathbf{f}(\mathbf{x})=A\mathbf{x}+\mathbf{b},A\in {\mathbb{R}}^{m\times n},\mathbf{b}\in {\mathbb{R}}^m$$，其中$A\mathbf{x}$可以起到对向量$\mathbf{x}$的伸缩、旋转和投影等操作，向量$\mathbf{b}$起到平移的作用。
• 若$\mathbf{f}$是放射变换， f : R n → R m ， f ( S ) = { f ( x ) ∣ x ∈ S } \bm f:\mathbb R^n\to\mathbb R^m，\bm f(\bm S)=\{\bm f(\bm x)|\bm x\in\bm S\} f:Rn→Rm，f(S)={f(x)∣x∈S}:
  • 若$\mathbf{S}$为凸集，则$\mathbf{f}(\mathbf{S})$为凸集。
  • 若$\mathbf{f}(\mathbf{S})$为凸集，则$\mathbf{S}$为凸集。

透视变换和投射函数

• 透视变换(Perspective Transformation)：透视函数对向量进行伸缩，使得最后一位的分量为1并舍弃之，公式：$$\mathbf{P}:{\mathbb{R}}^{n+1}\to {\mathbb{R}}^n,\mathbf{P}(\left(\begin{array}{c}\mathbf{z}\\ t\end{array}\right))=\frac{\mathbf{z}}{t}$$可见，透视变换是把一个向量以最后一个元素为视角进行看待，这也符合透视的定义，我们做透视总要以某一个点为基础进行绘制才能产生景深和距离的效果，才能体现出不同元素的大小和离当前基准点的远近。

  • 凸集的透视变换仍然是凸集。
  • 但是反过来就不对，即某集合的透视变换是凸集，这个集合不一定是凸集。

• 投射函数
  也称“线性分式函数”：是透视函数和仿射函数的复合。
  
  $令\mathbf{A}\in {\mathbb{R}}^{m\times n},\mathbf{b}\in {\mathbb{R}}^m,\mathbf{c}\in {\mathbb{R}}^n,d\in \mathbb{R}$，则：

  • $g$为仿射函数：$\mathbf{g}:{\mathbb{R}}^n\to {\mathbb{R}}^{m+1}$ $$\mathbf{g}(\mathbf{x})=\left(\begin{array}{c}\mathbf{A}\\ {\mathbf{c}}^T\end{array}\right)\mathbf{x}+\left(\begin{array}{c}\mathbf{b}\\ d\end{array}\right)$$

  • 定义$\mathbf{f}$为投射函数： f ( x ) = A x + b c T x + d , d o m f = { x ∣ c T x + d > 0 } \bm f(\bm x)=\frac{\bm {Ax}+\bm b}{\bm c^T\bm x+d},dom \bm f=\{\bm x|\bm c^T\bm x+d>0\} f(x)=cTx+dAx+b​,domf={x∣cTx+d>0}显然，若$\mathbf{c}=0,d>0$，则$f$为普通的仿射函数。

    通过分析可知，投射函数是结合了透视变换和仿射变换的双重效果。

凸函数

• 定义：若函数$f$的定义域$domf$为凸集，且满足$$\begin{gathered} \forall \mathbf{x},\mathbf{y}\in domf,0\le \theta \le 1,有 \\ f(\theta \mathbf{x}+(1-\theta )\mathbf{y})\le \theta f(\mathbf{x})+(1-\theta )f(\mathbf{y}) \end{gathered}$$则$f(\mathbf{x})$为凸函数。

• 一阶可微判定凸函数
  若$f$一阶可微，$f$的定义域$domf$为凸集，且满足$$\forall \mathbf{x},\mathbf{y}\in domf,f(\mathbf{y})\ge f(\mathbf{x})+\nabla f(\mathbf{x}{)}^T(\mathbf{y}-\mathbf{x})$$
  则$f(\mathbf{x})$为凸函数。
  

  • 思考：
    • 对于凸函数，其一阶Taylor近似本质上该函数的全局下估计。
    • 反之，如果一个函数的一阶Taylor近似总是其全局下估计，则该函数是凸函数。

• 二阶可微判定凸函数

  • 若$f$二阶可微，$f$的定义域$domf$为凸集，且满足$${\nabla }^{2}f(\mathbf{x})⪰0$$则函数$f$为凸函数。
    • 若$f$是一元函数，上式表示二阶导$f^{\prime \prime }(x)\ge 0$。
    • 若$f$是多元函数，上式表示二阶导Hessian矩阵半正定。

• 凸函数举例（通过求二阶导验证）

  • 指数函数：$f(x)=e^{ax}$，不对$a$做限制，$a\in \mathbb{R}$。
  • 幂函数：$f(x)=x^a,x\in {\mathbb{R}}^{+},a\ge 1或a\le 0$。
  • 负对数函数：$f(x)=-\ln x$。
  • 负熵函数：$f(x)=-x\ln x$。
  • 范数函数：$f(\mathbf{x})=\Vert \mathbf{x}\Vert$。
  • 最大值函数：$f(\mathbf{x})=\max (x_1,x_2,\cdots ,x_n)$。
  • 指数线性函数：$f(\mathbf{x})=\log (e^{x_1}+e^{x_2}+\cdots +e^{x_n})$。
    • Log Sum Exp$\to \max (x_1,x_2,\cdots ,x_n)$

• 上镜图

  • 函数$f$的上镜图(epigraph)定义为：
    e p i f = { ( x , t ) ∣ x ∈ d o m f , f ( x ) ≤ t } \bm{epi} f=\{(\bm x,t)|\bm x\in dom f,f(x)\le t\} epif={(x,t)∣x∈domf,f(x)≤t}
    
    易知：某函数是凸函数，当且仅当其上镜图是凸集。

Jensen不等式

Jensen不等式是由凸函数推导而来的，若$f$是凸函数，则有$$f(\theta \mathbf{x}+(1-\theta )\mathbf{y})\le \theta f(\mathbf{x})+(1-\theta )f(\mathbf{y})$$
若${\theta }_i\ge 0,{\sum }_{i=1}^k{\theta }_i=1$，根据凸集和凸函数的定义，则有$$f({\theta }_1{x}_1+\cdots +{\theta }_k{x}_k)\le {\theta }_{1}f(x_1)+\cdots +{\theta }_{k}f(x_k)$$

• 先歇一会，回顾下连续型随机变量求期望的方法：
  求期望(理论平均值)的一条准则就是：$\sum (取值\times 概率)$。
  对于连续性随机变量$X$，假设其概率密度函数(PDF)是$f(x)$，则$X$的期望$E(X)$:
  $$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx$$
  这里边每一个取值$x$的概率为$f(x)dx$。
• Jensen不等式的推导
  依据上面凸函数的定义，若：
  $$p(x)\ge 0onS\subseteq \mathbf{d}\mathbf{o}\mathbf{m}f,{\int }_{S}p(x)dx=1$$则有
  $$f\left({\int }_{S}xp(x)dx\right)\le {\int }_{S}f(x)p(x)dx$$
  即：
  $$f(E(x))\le E(f(x))$$
  这就是Jensen不等式。Jensen不等式几乎是所有不等式的基础，要想利用Jensen不等式，首先我们需要保证不等式使用过程中的函数$f(x)$是凸函数，否则无法使用此不等式。

保持函数凸性的算子

• 凸函数的非负加权求和$$f(x)={\omega }_1{f}_1(x)+\cdots +{\omega }_n{f}_n(x)$$
• 凸函数与仿射函数的复合$$g(x)=f(Ax+b)$$这是因为凸集经过仿射变换后，依然是凸集，只是做了一些旋转，伸缩、投影和平移等操作。
• 凸函数的逐点最大值，逐点上确界 f ( x ) = m a x { f 1 ( x ) , ⋯   , f n ( x ) } f ( x ) = s u p y ∈ A   g ( x , y ) f(x)=max\{f_1(x),\cdots,f_n(x)\}\\f(x)=\underset{y\in A}{sup}\ g(x,y) f(x)=max{f1​(x),⋯,fn​(x)}f(x)=y∈Asup​ g(x,y)这里需要谨记：前提是凸函数，才能应用这些判定方法。

凸函数的逐点最大值

• 若$f_1,f_2$均为凸函数，定义函数$f$: f ( x ) = m a x { f 1 ( x ) , f 2 ( x ) } f(x)=max\{f_1(x),f_2(x)\} f(x)=max{f1​(x),f2​(x)}
  则函数$f$为凸函数。
• 证明
  • Step 1
    
  • Step 2
    

凸函数的逐点上确界和上镜图的关系

• 一些列函数逐点上确界函数对应着这些函数上镜图的交集。
• 直观例子
  • $Oxy$平面上随意画$N$条直线(直线是凸的，虽然直线也是凹的)，在每一个$x$处取这些直线的最大的点，则构成的新函数是凸函数。
  • 同时，$N$条直线逐点求下确界，是凹函数。
  • 在Lagrange对偶函数中会用到该结论。