【第1章】凸集——保凸运算

---

Date: 2020/05/05
Editor:萧潇子（Jesse）
Contact: 1223167600@qq.com

---

3.保凸运算

本节给出一些典型的保凸运算,利用这些保凸运算,可以从凸集构造出其他凸集.这些运算与上一节中给出的凸集例子一起构成凸集的演算,可以用来确定或者构建集合的凸性.

3.1交集

若 $S_1,S_2$为凸集，则$S_1\bigcap S_2$为凸

若 $S_a$为凸集，$\forall a\in A$ 则$\bigcap _{a\in A}{S}_a$为凸集

3.2仿射函数

关于仿射变换解释可参考这篇博文https://blog.csdn.net/blogshinelee/article/details/90675178

$f:R^n\to R^m$是仿射的，当$f(S)=AX+b$, $A\in R^{m\times n}$, $b\in R^m$

若$S\in R^n$为凸集，$f:R^n\to R^m$仿射，则 f ( S ) = { f ( X ) ∣ X ∈ S } f(S)=\{f(X)|X\in S \} f(S)={f(X)∣X∈S}为凸集

$n$维空间中的凸集$S$经过线性变换变成$m$维空间中的凸集$f(S)$

逆仿射映射

$g:R^k\to R^n$为仿射， g − 1 ( S ) = { X ∣ f ( X ) ∈ S } g^{-1}(S)=\{X|f(X) \in S\} g−1(S)={X∣f(X)∈S}

e.g.

缩放与移位是保持凸性的

缩放： α S = { α X ∣ X ∈ S } \alpha S=\{\alpha X|X\in S\} αS={αX∣X∈S}

移位： S + a = { X + a ∣ X ∈ S } S+a=\{X+a|X\in S\} S+a={X+a∣X∈S}

两个凸集的和是凸的：

S 1 + S 2 = { x + y ∣ x ∈ S 1 , y ∈ S 2 } S_1+S_2=\{x+y|x\in S_1, y\in S_2\} S1​+S2​={x+y∣x∈S1​,y∈S2​}

定义 S 1 × S 2 = { ( x , y ) ∣ x ∈ S 1 , y ∈ S 2 } S_1\times S_2=\{(x,y)|x\in S_1, y\in S_2\} S1​×S2​={(x,y)∣x∈S1​,y∈S2​} 凸

假定$x\in R,y\in R$, 线性变换 $f(x,y)=x+y$,因此两个凸集的和还是凸集

线性矩阵不等式 LMT 解集也是凸集

$B,A_i,X_i\in S^m$ 对称矩阵

定义函数：$A(X)=X_1{A}_1+\cdots +X_n{A}_n⪯B$ 表示$(A(X)-B)⪯0$半负定矩阵

证明 { X ∣ A ( X ) ⪯ B } \{X|A(X)\preceq B\} {X∣A(X)⪯B}为凸 $X$由很多对称矩阵$X_i$构成

首先定义仿射变换$f(X)\triangleq B-A(X)$ $\Rightarrow$ 由高维矩阵变换到低维矩阵空间

$f(X)$每个点是由多个矩阵$X_i $构成，$B-A(X)$每个点是一个矩阵

f − 1 ( S + n ) = { X ∣ B − A ( X ) ⪰ 0 } f^{-1}(S_+^n)=\{X|B-A(X) \succeq 0\} f−1(S+n​)={X∣B−A(X)⪰0}

$S_{+}^n$为凸，经过$f^{-1}(S_{+}^n)$逆仿射映射 { X ∣ B − A ( X ) ⪰ 0 } \{X|B-A(X) \succeq 0\} {X∣B−A(X)⪰0}也为凸

由于$B-A(X)$为凸， 也即$f(X)$也是凸的，$f(X)$逆运算符合仿射运算，所以其解集 { X ∣ A ( X ) ⪯ B } \{X|A(X)\preceq B\} {X∣A(X)⪯B}为凸

椭球是球的仿射映射
ξ ( x c , P ) = { x   ∣ ( x − x c T ) P − 1 ( x − x c )   ≤ 1 } x c ∈ R n P ∈ S + + n ( 对 称 正 定 矩 阵 几 何 ) \xi(x_c,P)=\{x\:| (x-x_c^T)P^{-1}(x-x_c) \:\le 1\} \qquad x_c\in R^n \quad P\in S_{++}^{n}(对称正定矩阵几何) ξ(xc​,P)={x∣(x−xcT​)P−1(x−xc​)≤1}xc​∈RnP∈S++n​(对称正定矩阵几何)

单位球 { u   ∣ ∥ u ∥ 2 ≤ 1 } \{u\: |\parallel u \parallel _2 \le 1\} {u∣∥u∥2​≤1}

仿射函数 $f(u)=P^{\frac{1}{2}}u+x_c$ 其中$(P^{\frac{1}{2}})(P^{\frac{1}{2}})=P$

{ f ( u )   ∣ ∥ u ∥ 2 ≤ 1 } = { P 1 2 u + x c   ∣ ∥ u ∥ 2 ≤ 1 } \{f(u)\:|\parallel u \parallel _2 \le 1\}= \{P^{\frac{1}{2}} u+x_c\:|\parallel u \parallel _2 \le 1\} {f(u)∣∥u∥2​≤1}={P21​u+xc​∣∥u∥2​≤1} 定义$x=P^{\frac{1}{2}}u+x_c\iff u=P^{-\frac{1}{2}}(x-x_c)$

$\Rightarrow$ { x   ∣ ∥ P − 1 2 ( x − x c ) ∥ 2 ≤ 1 } \{x\: |\parallel P^{-\frac{1}{2}}(x-x_c) \parallel _2 \le 1\} {x∣∥P−21​(x−xc​)∥2​≤1}

$\Rightarrow$ { x   ∣ ( x − x c ) T P − 1 ( x − x c ) ≤ 1 } \{x\: |(x-x_c)^T P^{-1} (x-x_c) \le 1\} {x∣(x−xc​)TP−1(x−xc​)≤1}

3.3透视函数

$P{R}^{n+1}\to R^n$ 定义域 ：dom $P=R^n\times R_{++}$ 前n个元素可以在实空间里面任意取值，最后一个元素必须要是正数

定义： $P(Z,t)=\frac{Z}{t}Z\in R^{n}t\in R_{++}$

二维情况下点 $(x_1,x_2)$ 透过原点与直线 $x_2=-1$ 的交点 $(-\frac{x_1}{x_2},-1)=(-P(x_1,x_2),-1)$

这里先给出几何意义的解释,可以使用简单的小孔成像原理去理解这个过程,投影的小孔为原点,成像平面为$x_2=-1$,二维平面上的点经过投影变成一维直线上的点,如下图所示:

凸集经过透视函数也是凸集

考虑$R^{n+1}$内线段 $x=(\underset{\in R^n}{\tilde{x}},\underset{\in R_{++}}{x_{n+1}})$ $y=(\underset{\in R^n}{\tilde{y}},\underset{\in R_{++}}{y_{n+1}})$

$1\ge \theta \ge 0$ 线段为 $\theta x+(1-\theta )y$

证明 线段 经过透视函数 还是线段

$x\stackrel{P}{\to }P(x)$ $y\stackrel{P}{\to }P(y)$

$\theta x+(1-\theta )y\stackrel{P}{\to }P(\theta x+(1-\theta )y)$
$$\begin{array}{rl}P(\theta x+(1-\theta )y)& =\frac{\theta \tilde{x}+(1-\theta )\tilde{y}}{\theta x_n+(1-\theta )y_{n+1}}\\ & =\frac{\theta x_{n+1}}{\theta x_{n+1}+(1-\theta )y_{n+1}}\frac{\tilde{x}}{x_{n+1}}+\frac{(1-\theta )y_{n+1}}{\theta x_{n+1}+(1-\theta )y_{n+1}}\frac{\tilde{y}}{y_{n+1}}\\ & =\mu P(x)+(1-\mu )P(y)1\ge \mu \ge 0\end{array}$$
$\theta ,\mu$一一映射

任意凸集的反透视函数仍是凸集
P − 1 ( C ) = { ( x , t ) ∈ R n + 1 ∣ x t ∈ C , t > 0 } P^{-1}(C)=\{(x,t)\in R^{n+1}|\frac{x}{t} \in C, \quad t>0\} P−1(C)={(x,t)∈Rn+1∣tx​∈C,t>0}
考虑$(x,t)\in P^{-1}(C)$ $(y,s)\in P^{-1}(C)$ $0\le \theta \le 1$

证明 $(\theta x+(1-\theta )y,\theta t+(1-\theta )s)\in P^{-1}C$ 也就是要证明 :
$$\frac{\theta x+(1-\theta )y}{\theta t+(1-\theta )s}\in C$$

$$\begin{array}{rl}\frac{\theta x+(1-\theta )y}{\theta t+(1-\theta )s}& =\frac{\theta t}{\theta t+(1-\theta )s}\frac{x}{t}+(1-\frac{\theta t}{\theta t+(1-\theta )s})\frac{y}{s}\\ & =\mu \underset{\in C}{\frac{x}{t}}+(1-\mu )\underset{\in C}{\frac{y}{s}}\\ \Rightarrow \in C& \end{array}$$

3.4 线性分数函数（转换后凸性质不变）

线性分式函数由透视函数和仿射函数复合而成

g: $R^n\to R^{m+1}$为仿射映射
$$g(x)=\left[\begin{array}{c}A\\ C^{+}\end{array}\right]x+\left[\begin{array}{c}b\\ d\end{array}\right]$$
其中$A\in R^{m\times n},C\in R^n,b\in R^m,d\in R$

P: $R^{m+1}\to R^m$ 透视函数

$f:R^n\to R^m\triangleq P\circ g$

线性分数函数：
f ( x ) = A x + b C T x + d d o m f = { x ∣ C T x + d > 0 } f(x)=\frac{Ax+b}{C^Tx+d}\quad domf=\{x|C^Tx+d>0\} f(x)=CTx+dAx+b​domf={x∣CTx+d>0}
例: 两个随机变量的联合概率 $\to$ 条件概率

$u$ $v$ { 1 ⋯ n } \{1 \cdots n\} {1⋯n} { 1 ⋯ m } \{1 \cdots m\} {1⋯m}

联合概率$P_{i,j}=P(u=i,v=i)$

条件概率 $f_{ij}=P(u=i|v=j)$

$\because f_{ij}=\frac{P_{ij}}{{\sum }_{k=1}^n{P}_{kj}}\to \frac{[0\cdots 1\cdots 0]\to 点乘下面向量}{[P_{1,j},\cdots ,P_{n,j}]\to 向量相加}分子分母满足线性变换$

从高维变成标量

3.5参考

1、Stephen Boyd 、Lieven Vandenberghe——《Convex Optimization》）
2、中科大凌青凸优化 (https://www.bilibili.com/video/BV1Jt411p7jE?)