凸集的学习

凸集

定义

如果$\mathbf{x},\mathbf{y}\in C\subseteq {\mathbb{R}}^n$,并且$\lambda \in \left[0,1\right]$,$\lambda \mathbf{x}+(1-\lambda )\mathbf{y}\in C$,那么集合$C$称为凸集

保凸运算

交集

设$\forall i\in I,C_i\subseteq {\mathbb{R}}^n$是凸集，那么${\cap }_{i\in I}{C}_i$也是凸集
证明：

不妨设$\mathbf{x},\mathbf{y}\in {\cap }_{i\in I}{C}_i$,并且$\lambda \in \left[0,1\right]$
因为$C_i$是凸集
所以$\forall i\in I,\lambda \mathbf{x}+(1-\lambda )\mathbf{y}\in C_i$
所以$\lambda \mathbf{x}+(1-\lambda )\mathbf{y}\in {\cap }_{i\in I}{C}_i$

线性组合

设$C_1,C_2,\cdots ,C_k\subseteq {\mathbb{R}}^n$是凸集，
设${\mu }_1,{\mu }_1,\cdots ,{\mu }_k\in \mathbb{R}$
则
$${\mu }_1{C}_1+{\mu }_2{C}_2+\cdots +{\mu }_k{C}_k=\left\{\sum _{i=1}^k{\mu }_i{\mathbf{x}}_i,i=1,2,\cdots ,k\right\}$$
是凸集

证明：
利用数学归纳法
$n=1$显然成立
$n=2$时
设$\mathbf{a},\mathbf{b}\in C_1$
$\mathbf{c},\mathbf{d}\in C_2$
${\mu }_1\mathbf{a}+{\mu }_2\mathbf{c}\in {\mu }_1{C}_1+{\mu }_2{C}_2$
${\mu }_1\mathbf{b}+{\mu }_2\mathbf{d}\in {\mu }_1{C}_1+{\mu }_2{C}_2$
设$\lambda \in \left[0,1\right]$
则
$$\begin{array}{rl}& \lambda ({\mu }_1\mathbf{a}+{\mu }_2\mathbf{c})+(1-\lambda )({\mu }_1\mathbf{b}+{\mu }_2\mathbf{d})\\ & =\lambda {\mu }_1\mathbf{a}+(1-\lambda ){\mu }_1\mathbf{b}+\lambda {\mu }_2\mathbf{c}+(1-\lambda ){\mu }_2\mathbf{d}\end{array}$$
因为$\lambda {\mu }_1\mathbf{a}+(1-\lambda ){\mu }_1\mathbf{b}\in {\mu }_1{C}_1$
$\lambda {\mu }_2\mathbf{c}+(1-\lambda ){\mu }_2\mathbf{d}\in {\mu }_2{C}_2$
所以$\lambda ({\mu }_1\mathbf{a}+{\mu }_2\mathbf{c})+(1-\lambda )({\mu }_1\mathbf{b}+{\mu }_2\mathbf{d})\in {\mu }_1{C}_1+{\mu }_2{C}_2$
所以是凸集

假设$n=k$时成立
$n=k+1$时，证明类似，
所以结论成立

笛卡尔积

设$\forall i=1,2,\cdots ,m,C_i\subseteq {\mathbb{R}}^{k_i}$是凸集
那么笛卡尔积
C 1 × C 2 × ⋯ × C m = { ( x 1 , x 2 , ⋯   , x m ) : x i ∈ C i , i = 1 , 2 , ⋯   , m } C_1\times C_2 \times \cdots\times C_m=\left\{(\mathbf{x_1},\mathbf{x_2},\cdots,\mathbf{x_m}):\mathbf{x_i}\in C_i,i=1,2,\cdots,m\right\} C1​×C2​×⋯×Cm​={(x1​,x2​,⋯,xm​):xi​∈Ci​,i=1,2,⋯,m}
是凸集

证明：
利用数学归纳法
当$n=1$时显然成立
当$n=2$时
设${\mathbf{x}}_1,{\mathbf{x}}_2\in C_1$
${\mathbf{y}}_1,{\mathbf{y}}_2\in C_2$
$({\mathbf{x}}_1,{\mathbf{y}}_1)\in C_1\times C_2$
$({\mathbf{x}}_2,{\mathbf{y}}_2)\in C_1\times C_2$
$$\begin{array}{rl}& \lambda ({\mathbf{x}}_1,{\mathbf{y}}_1)+(1-\lambda )({\mathbf{x}}_2,{\mathbf{y}}_2)\\ & =(\lambda {\mathbf{x}}_1,\lambda {\mathbf{y}}_1)+((1-\lambda ){\mathbf{x}}_2,(1-\lambda ){\mathbf{y}}_2)\\ & =(\lambda {\mathbf{x}}_1+(1-\lambda ){\mathbf{x}}_2,\lambda {\mathbf{y}}_1+(1-\lambda ){\mathbf{y}}_2)\\ & \in C_1\times C_2\end{array}$$

假设当$n=k$时成立
当$n=k+1$时
证明类似
所以结论成立

仿射变换

设$M\subseteq {\mathbb{R}}^n$是凸集，$\mathbf{A}\in {\mathbb{R}}^{m\times n}$,则
A ( M ) = { A x : x ∈ M } \mathbf{A}(M)=\left\{\mathbf{Ax}:\mathbf{x}\in M\right\} A(M)={Ax:x∈M}
是凸集

逆仿射变换

设$D\subseteq {\mathbb{R}}^m$是凸集，$\mathbf{A}\in {\mathbb{R}}^{m\times n}$,则
A − 1 ( D ) = { x ∈ R n : A x ∈ D } \mathbf{A}^{-1}(D)=\left\{\mathbf{x}\in\mathbb{R}^{n}:\mathbf{Ax}\in D\right\} A−1(D)={x∈Rn:Ax∈D}
是凸集

unit-simplex

简单来说就是一个向量，他的分量都是非负的，且加起来为1
$${\Delta }_n=\left\{\mathbf{x}\in {\mathbb{R}}^n:\mathbf{x}\ge 0,{\mathbf{e}}^T\mathbf{x}=1\right\}$$

凸包

凸组合

给定$k$个向量${\mathbf{x}}_1,\cdots ,{\mathbf{x}}_k\in {\mathbb{R}}^n$

凸组合就是${\lambda }_1{\mathbf{x}}_1+\cdots +{\lambda }_k{\mathbf{x}}_k$

其中${\lambda }_i\ge 0,{\lambda }_1+\cdots +{\lambda }_k=1$

定理1

设$C\in {\mathbb{R}}^n$是凸集，${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_m\in C$

则
$$\forall \lambda \in {\Delta }_m,\sum _{i=1}^m{\lambda }_i{\mathbf{x}}_i\in C$$
证明：

用数学归纳法

当$n=1$时显然成立

假设当$n=m$时成立

当$n=m+1$时
$$\begin{array}{rl}\mathbf{z}& =\sum _{i=1}^{m+1}{\lambda }_i{\mathbf{x}}_i\\ & =\sum _{i=1}^m{\lambda }_i{\mathbf{x}}_i+{\lambda }_{m+1}{\mathbf{x}}_{m+1}\\ & =(1-{\lambda }_{m+1})\sum _{i=1}^m\frac{{\lambda }_i}{(1-{\lambda }_{m+1})}{\mathbf{x}}_i+{\lambda }_{m+1}{\mathbf{x}}_{m+1}\\ & \in C\end{array}$$
所以成立

凸包定义

设$S\subseteq {\mathbb{R}}^n$

则$S$的凸包记为$conv(S)$
$$conv(S)\equiv \left\{\sum _{i=1}^k{\lambda }_i{\mathbf{x}}_i:{\mathbf{x}}_1,\cdots ,{\mathbf{x}}_k\in S,\lambda \in {\Delta }_k,k\in \mathbb{N}\right\}$$
也就是能包住S的凸集中，最小的那个

引理

设$S\subseteq {\mathbb{R}}^n$,如果$S\subseteq T$，且$T$是一个凸集，则$conv(S)\subseteq T$

证明：

存在${\mathbf{x}}_1,\cdots ,{\mathbf{x}}_k\in S\subseteq T$

设$\lambda \in {\Delta }_k,\mathbf{z}={\sum }_{i=1}^k{\lambda }_k{\mathbf{x}}_i$

因为$T$是凸集，所以${\mathbf{x}}_1,\cdots ,{\mathbf{x}}_k$的凸组合也属于$T$,即$\mathbf{z}\in T$

根据凸包的定义$\mathbf{z}\in conv(S)$

所以$conv(S)\subseteq T$

Carathéodory 定理

设$S\subseteq {\mathbb{R}}^n$,$\mathbf{x}\in conv(S)$

则存在${\mathbf{x}}_1,\cdots ,{\mathbf{x}}_{n+1}\in S$,使得 x ∈ c o n v ( { x 1 , ⋯   , x n + 1 } ) \mathbf{x}\in conv(\left\{\mathbf{x_1},\cdots,\mathbf{x}_{n+1}\right\}) x∈conv({x1​,⋯,xn+1​})

即
$$\exists \lambda \in {\Delta }_{n+1},\mathbf{x}=\sum _{i=1}^{n+1}{\lambda }_i{\mathbf{x}}_i$$
证明：

设$\mathbf{x}\in conv(S)$

根据凸包的定义，存在${\mathbf{x}}_1,\cdots ,{\mathbf{x}}_{n+1}\in S,\lambda \in {\Delta }_k$使得
$$\mathbf{x}=\sum _{i=1}^k{\lambda }_i{\mathbf{x}}_i$$
不放假设$\forall i=1,2,\cdots ,k,{\lambda }_i>0$,否则，我们可以删去${\lambda }_i=0$对应的${\mathbf{x}}_i$

如果$k\le n+1$

则结论成立

如果$k\ge n+2$

${\mathbf{x}}_2-{\mathbf{x}}_1,{\mathbf{x}}_3-{\mathbf{x}}_1,\cdots ,{\mathbf{x}}_k-{\mathbf{x}}_1$线性相关

即不全为0的${\mu }_2,\cdots ,{\mu }_k$,使得
$$\sum _{i=2}^k{\mu }_i({\mathbf{x}}_i-{\mathbf{x}}_1)=0$$
设${\mu }_1=-{\sum }_{i=2}^k{\mu }_i$，则
$$\sum _{i=1}^k{\mu }_i{\mathbf{x}}_i=0$$
因为${\mu }_1,\cdots ,{\mu }_k$不全为0，但是${\sum }_{i=1}^k{\mu }_i=0$

所以必然存在$i$，使得${\mu }_i<0$

设$\alpha \in {\mathbb{R}}_{+}$
$$\mathbf{x}=\sum _{i=1}^k{\lambda }_i{\mathbf{x}}_i=\sum _{i=1}^k{\lambda }_i{\mathbf{x}}_i+\alpha \sum _{i=1}^k{\mu }_i{\mathbf{x}}_i=\sum _{i=1}^k({\lambda }_i+\alpha {\mu }_i){\mathbf{x}}_i$$

${\sum }_{i=1}^k({\lambda }_i+\alpha {\mu }_i)=1$

所以上式这是一个凸组合当且仅当
$$\forall i=1,\cdots ,k,{\lambda }_i+\alpha {\mu }_i\ge 0$$
因为${\lambda }_i>0$,所以当$\alpha \in \left[0,ϵ\right]$,满足不等式

其中$ϵ=\underset{i:{\mu }_i<0}{\min }\left\{-\frac{{\mu }_i}{{\lambda }_i}\right\}$

那么如果用$\alpha =ϵ$替换凸组合，则虽然不等式满足，但是

${\lambda }_j+ϵ{\mu }_j=0$,其中$j=\arg \underset{i:{\mu }_i<0}{\min }\left\{-\frac{{\mu }_i}{{\lambda }_i}\right\}$

这意味着只要$k-1$个向量就可以了，也就是说可以删去${\mathbf{x}}_j$

这个过程可以一直持续到$k\ge n+1$

所以结论成立

这个定理告诉我们，一个集合只要$n+1$个向量，他们的凸组合就可以表示集合的凸包中的所有向量

凸锥

锥

如果$\mathbf{x}\in S$则$\lambda \ge 0,\lambda \mathbf{x}\in S$，则$S$称为锥

凸锥

凸锥就是一个锥+凸集

即

如果$\mathbf{x},\mathbf{y}\in S$,则
$$\forall {\lambda }_1,{\lambda }_2\ge 0,{\lambda }_1\mathbf{x}+{\lambda }_2\mathbf{y}\in S$$

等价定义

如果$S$是凸集，等价于

a)
$$\mathbf{x},\mathbf{y}\in S\Rightarrow \mathbf{x}+\mathbf{y}\in S$$

b)
$$\mathbf{x}\in S,\lambda \ge 0\Rightarrow \lambda \mathbf{x}\in S$$

同时成立

证明：

充分性：如果$S$是凸锥

a)

利用凸集的定义

$\frac{1}{2}\mathbf{x}+\frac{1}{2}\mathbf{y}\in S$

利用锥的定义

$2(\frac{1}{2}\mathbf{x}+\frac{1}{2}\mathbf{y})=\mathbf{x}+\mathbf{y}\in S$

b)

利用锥的定义，显然成立

必要性：

利用b)

$\lambda \mathbf{x},(1-\lambda )\mathbf{y}\in S$

利用a)

$\lambda \mathbf{x}+(1-\lambda )\mathbf{y}\in S$

得到凸性

利用b)

得到锥

所以$S$时凸锥

凸锥组合

给定$k$个点${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_k\in {\mathbb{R}}^n$

凸锥组合为${\lambda }_1{\mathbf{x}}_1+\cdots +{\lambda }_k{\mathbf{x}}_k$

其中$\lambda \in {\mathbb{R}}_{+}^k$

引理

设$C$是凸锥，设${\mathbf{x}}_1,\cdots ,{\mathbf{x}}_k\in C$,${\lambda }_1,\cdots ,{\lambda }_k\ge 0$

则${\sum }_{i=1}^k{\lambda }_i{\mathbf{x}}_i\in C$

利用刚刚的等价定义，显然成立

凸锥包

设$S\subseteq {\mathbb{R}}^n$

凸锥包表示为$cone(S)$
$$cone(S)=\left\{\sum _{i=1}^k{\lambda }_i{\mathbf{x}}_i:{\mathbf{x}}_1,\cdots ,{\mathbf{x}}_k\in S,\lambda \in {\mathbb{R}}_{+}^k,k\in \mathbb{N}\right\}$$

conic representation theorem

设$S\subseteq {\mathbb{R}}^n$,$\mathbf{x}\in cone(S)$

则存在$k$个线性无关的向量${\mathbf{x}}_1,\cdots ,{\mathbf{x}}_k\in S$

使得 x ∈ c o n e ( { x 1 , ⋯   , x k } ) \mathbf{x}\in cone(\{\mathbf{x}_1,\cdots,\mathbf{x}_k\}) x∈cone({x1​,⋯,xk​})

即
$$\exists \lambda \in {\mathbb{R}}_{+}^k,\mathbf{x}=\sum _{i=1}^k{\lambda }_i{\mathbf{x}}_i$$
其中$k\ge n$

证明：

设$\mathbf{x}\in cone(S)$

根据凸锥包的定义，$\exists {\mathbf{x}}_1,{\mathbf{x}}_2+\cdots +{\mathbf{x}}_k\in S,\lambda \in {\mathbb{R}}_{+}^k$ 使得
$$\mathbf{x}=\sum _{i=1}^k{\lambda }_i{\mathbf{x}}_i$$
不妨设${\lambda }_i>0$，以为如果${\lambda }_i=0$,则$x_i$可以被删去。

如果${\mathbf{x}}_1,\cdots ,{\mathbf{x}}_k$线性无关，则结论成立

如果线性相关，则存在不全为0的${\mu }_1,\cdots ,{\mu }_k$，使得
$$\sum _{i=1}^k{\mu }_i{\mathbf{x}}_i=0$$
于是对于$\alpha \in \mathbb{R}$
$$\mathbf{x}=\sum _{i=1}^k{\lambda }_i{\mathbf{x}}_i+\alpha \sum _{i=1}^k{\mu }_i{\mathbf{x}}_i=\sum _{i=1}^k({\lambda }_i+\alpha {\mu }_i){\mathbf{x}}_i$$
这是一个凸锥组合，当且仅当
$${\lambda }_i+\alpha {\mu }_i\ge 0$$
因为${\lambda }_i>0$,所以上面的不等式成立的条件是$\alpha \in I$

其中$I$是一个非空的闭区间，而且至少有一边不是无穷（我觉得有点问题，可以保证至少一边是闭，但是是不是闭区间，我觉得有点问题
$$\underset{{\mu }_i>0}{\max }\left\{-\frac{{\lambda }_i}{{\mu }_i}\right\}\le \alpha \le \underset{{\mu }_i<0}{\min }\left\{-\frac{{\lambda }_i}{{\mu }_i}\right\}$$
如果${\mu }_i$没有负的，则左闭右开
如果${\mu }_i$没有正的，则左开右闭
因为${\mu }_i$不全为0，所以不会没有正且没有负
所以可以保证至少一边是闭
）

不妨设边界点为$\tilde{\alpha }$,显然满足不等式

但是存在$j$,使得${\lambda }_j+\tilde{\alpha }{\mu }_j=0$

因此${\mathbf{x}}_j$ 可以被删去，只需要$k-1$个向量就能表示$\mathbf{x}$

这个过程可以持续到${\mathbf{x}}_1,\cdots ,{\mathbf{x}}_k$线性无关

所以$k\le n$

基本可行解

basic feasible solutions

设 P = { x ∈ R n : A x = b , x ≥ 0 } P=\left\{\mathbf{x} \in \mathbb{R}^{n}: \mathbf{A} \mathbf{x}=\mathbf{b}, \mathbf{x} \geq 0\right\} P={x∈Rn:Ax=b,x≥0}

其中$\mathbf{A}\in {\mathbb{R}}^{m\times n},\mathbf{b}\in {\mathbb{R}}^m$

假设$\mathbf{A}$的行线性无关

则$\bar{\mathbf{x}}$被称为$P$的一个基本可行解（简称bfs)如果$\mathbf{A}$对应于$\bar{\mathbf{x}}$正的分量的下标的列向量是线性无关的

比如说$\bar{\mathbf{x}}$的1,3,5分量是正的，则$\mathbf{A}$的1,3,5列的向量线性无关

定理

设 P = { x ∈ R n : A x = b , x ≥ 0 } P=\left\{\mathbf{x} \in \mathbb{R}^{n}: \mathbf{A} \mathbf{x}=\mathbf{b}, \mathbf{x} \geq 0\right\} P={x∈Rn:Ax=b,x≥0}

其中$\mathbf{A}\in {\mathbb{R}}^{m\times n},\mathbf{b}\in {\mathbb{R}}^m$

如果$P\ne \varnothing$,则至少存在一个可行解

证明：

设$\mathbf{A}=\left({\mathbf{a}}_1,{\mathbf{a}}_2,\dots ,{\mathbf{a}}_n\right)$

则 b ∈ c o n e ( { a 1 , a 2 , … , a n } ) \mathbf{b}\in cone\left(\left\{\mathbf{a}_{1}, \mathbf{a}_{2}, \ldots, \mathbf{a}_{n} \right\}\right) b∈cone({a1​,a2​,…,an​})

根据conic representation theorem,$\mathbf{b}$可以用来自 { a 1 , a 2 , … , a n } \left\{\mathbf{a}_{1}, \mathbf{a}_{2}, \ldots, \mathbf{a}_{n} \right\} {a1​,a2​,…,an​}的$k$个线性无关的向量表示

所以$\exists i_1<\cdots <i_k$，$y_{i_1},\cdots ,y_{i_k}\ge 0$

使得$\mathbf{b}={\sum }_{j=1}^k{y}_{i_j}{\mathbf{a}}_{i_j}$,并且${\mathbf{a}}_{i_1},\cdots ,{\mathbf{a}}_{i_k}$线性无关

令$\overline{\mathbf{x}}={\sum }_{j=1}^k{y}_{i_j}{\mathbf{e}}_{i_j}$

显然$\bar{\mathbf{x}}\ge 0$

并且
$$\mathbf{A}\overline{\mathbf{x}}=\sum _{j=1}^k{y}_{i_j}{\mathbf{A}\mathbf{e}}_{i_j}=\sum _{j=1}^k{y}_{i_j}{\mathbf{a}}_{i_j}=\mathbf{b}$$
满足条件，是一个bfs

拓扑基本概念

内点

$U\subseteq {\mathbb{R}}^n$，如果存在$r>0$使得$B(\mathbf{c},r)\in U$,则$\mathbf{c}$是一个$U$的一个内点

开集

$U\subseteq {\mathbb{R}}^n$是一个开集，当且仅当
$$\forall \mathbf{x}\in U,\exists r>0,s.t.B(\mathbf{x},r)\in U$$

int ⁡ ( U ) = { x ∈ U : B ( x , r ) ⊆ U  对于某些  r > 0 } \operatorname{int}(U)=\{\mathrm{x} \in U: B(\mathrm{x}, r) \subseteq U \text { 对于某些 } r>0\} int(U)={x∈U:B(x,r)⊆U 对于某些 r>0}

闭集

$U\subseteq {\mathbb{R}}^n$是一个闭集，当且仅当

对于所有的序列 { x i } i ≥ 1 ⊆ U \left\{\mathbf{x}_{i}\right\}_{i \geq 1} \subseteq U {xi​}i≥1​⊆U

当$i\to \infty$时,${\mathbf{x}}_i\to {\mathbf{x}}^{\ast }$,且${\mathbf{x}}^{\ast }\in U$

边界点

$U\subseteq {\mathbb{R}}^n$

$\mathbf{x}\in {\mathbb{R}}^n$是一个边界点，如果满足：邻域内存在一个点在$U$，且存在一个点在$U^c$

$U$的边界点的集合记为$bd(U)$

闭包

cl ⁡ ( U ) = ⋂ { T : U ⊆ T , T  是闭集  } \operatorname{cl}(U)=\bigcap\{T: U \subseteq T, T \text { 是闭集 }\} cl(U)=⋂{T:U⊆T,T 是闭集 }

等价定义
$$\mathrm{c}\mathrm{l}(U)=U\cup \mathrm{b}\mathrm{d}(U)$$

有界

$U\subseteq {\mathbb{R}}^n$

如果存在$M>0$,使得$U\subseteq B(0,M)$,则$U$是有界的

紧集

$U\subseteq {\mathbb{R}}^n$

如果$U$是一个闭集，且有界,则$U$是紧集

凸集的拓扑性质

定理1

设$C\subseteq {\mathbb{R}}^n$是一个凸集，则$cl(C)$是一个凸集

证明：

设$\mathbf{x},\mathbf{y}\in \mathrm{cl}(C)$,$\lambda \in \left[0,1\right]$

根据闭集的定义

∃ { x k } k ≥ 0 ⊆ C , { y k } k ≥ 0 ⊆ C \exists \left\{\mathbf{x}_{k}\right\}_{k \geq 0} \subseteq C,\left\{\mathbf{y}_{k}\right\}_{k \geq 0} \subseteq C ∃{xk​}k≥0​⊆C,{yk​}k≥0​⊆C

当$k\to \infty$时,${\mathbf{x}}_k\to \mathbf{x},{\mathbf{y}}_k\to \mathbf{y}$

根据凸集的定义

$\forall k\ge 0,\lambda {\mathbf{x}}_k+(1-\lambda ){\mathbf{y}}_k\in C$

因为$\lambda {\mathbf{x}}_k+(1-\lambda ){\mathbf{y}}_k\to \lambda \mathbf{x}+(1-\lambda )\mathbf{y}$

所以$C$中存在序列，收敛于$\lambda \mathbf{x}+(1-\lambda )\mathbf{y}$

从而$\lambda \mathbf{x}+(1-\lambda )\mathbf{y}\in \mathrm{cl}(C).$

line segment principle

设$C$是一个凸集，假设$int(C)\ne \varnothing$

假设$\mathbf{x}\in int(C),\mathbf{y}\in cl(C)$

则$\forall \lambda \in (0,1),(1-\lambda )\mathbf{x}+\lambda \mathbf{y}\in \mathrm{int}(C)$

证明：

因为$\mathbf{x}\in int(C)$,则$\exists ϵ>0,B(\mathbf{x},ϵ)\subseteq C$

设$\mathbf{z}=(1-\lambda )\mathbf{x}+\lambda \mathbf{y}$

为了证明$\mathbf{z}\in int(C)$,可以试着证明$B(\mathbf{z},(1-\lambda )ϵ)\subseteq C$

设$\mathbf{w}$满足$\Vert \mathbf{w}-\mathbf{z}\Vert <(1-\lambda )ϵ$

因为$\mathbf{y}\in cl(C)$

所以$\exists {\mathbf{w}}_1\in C$,使得
$$\Vert {\mathbf{w}}_1-\mathbf{y}\Vert <\frac{(1-\lambda )\epsilon -\Vert \mathbf{w}-\mathbf{z}\Vert }{\lambda }$$
令${\mathbf{w}}_2=\frac{1}{1-\lambda }\left(\mathbf{w}-\lambda {\mathbf{w}}_1\right)$
$$\begin{array}{rl}\Vert {\mathbf{w}}_2-\mathbf{x}\Vert & =\Vert \frac{\mathbf{w}-\lambda {\mathbf{w}}_1}{1-\lambda }-\mathbf{x}\Vert \\ & =\frac{1}{1-\lambda }\Vert (\mathbf{w}-\mathbf{z})+\lambda \left(\mathbf{y}-{\mathbf{w}}_1\right)\Vert \\ & \le \frac{1}{1-\lambda }\left(\Vert \mathbf{w}-\mathbf{z}\Vert +\lambda \Vert {\mathbf{w}}_1-\mathbf{y}\Vert \right)\\ & <\epsilon \end{array}$$

因为$B(\mathbf{x},\epsilon )\subseteq C$，所以${\mathbf{w}}_2\in C$

所以$\mathbf{w}=\lambda {\mathbf{w}}_1+(1-\lambda ){\mathbf{w}}_2\in C$

定理2

设$C\subseteq {\mathbb{R}}^n$是凸集,则$int(C)$也是凸集

证明：

如果$int(C)=\varnothing$，则结论成立

如果$int(C)\ne \varnothing$,则设${\mathbf{x}}_1,{\mathbf{x}}_2\in \mathrm{int}(C),\lambda \in (0,1)$

根据line segment principle，
$$\lambda {\mathbf{x}}_1+(1-\lambda ){\mathbf{x}}_2\in \mathrm{int}(C)$$

引理1

设$C$是凸集，$int(C)\ne \varnothing$,则

(a) $cl(int(C))=cl(C)$

(b) $int(cl(C))=int(C)$

证明：

(a)

显然$int(C)\subseteq C\Rightarrow cl(int(C))\subseteq cl(C)$

现在证明反向的版本

$\mathbf{x}\in cl(C),\mathbf{y}\in int(C)$

根据line segment principle，
$$\forall k\ge 1,{\mathbf{x}}_k=\frac{1}{k}\mathbf{y}+(1-\frac{1}{k})\mathbf{x}\in int(C)$$

而$\mathbf{x}$是 { x k } k ≥ 1 ⊆ C \left\{\mathbf{x}_{k}\right\}_{k \geq 1}\subseteq C {xk​}k≥1​⊆C收敛的点

即$\mathbf{x}\in cl(int(C))$

(b)

$C\subseteq cl(C)\Rightarrow int(C)\subseteq int(cl(C))$

现在证明反向的版本

因为$\mathbf{x}\in int(cl(C))$，$\exists ϵ>0,B(\mathbf{x},ϵ)\subseteq cl(C)$

设$\mathbf{y}\in int(C)$

如果$\mathbf{x}=\mathbf{y}$则结论成立

否则

设
$$\mathbf{z}=\mathbf{x}+\alpha (\mathbf{x}-\mathbf{y})$$
其中$\alpha =\frac{\epsilon }{2\Vert \mathrm{x}-\mathrm{y}\Vert }$

所以$\Vert \mathbf{z}-\mathbf{x}\Vert =\frac{\epsilon }{2}$, $\mathbf{z}\in cl(C)$

$\forall \lambda \in \left[0,1\right),(1-\lambda )\mathbf{y}+\lambda \mathbf{z}\in int(C)$

特别地，$\lambda ={\lambda }_{\alpha }=\frac{1}{1+\alpha }$时，有$\left(1-{\lambda }_{\alpha }\right)\mathbf{y}+{\lambda }_{\alpha }\mathbf{z}=\mathbf{x}$

即$\mathbf{x}\in int(C)$

定理3

如果$S\subseteq {\mathbb{R}}^n$是一个紧集，则$conv(S)$是紧集

证明：

先证明有界性

因为$S$是紧集，$\forall \mathbf{x}\in S,\exists M>0,\Vert \mathbf{x}\Vert \le M$

设$\mathbf{y}\in conv(S)$

根据Carathéodory 定理

$\exists {\mathbf{x}}_1^k,{\mathbf{x}}_2^k,\dots ,{\mathbf{x}}_{n+1}^k\in S,{\lambda }^k\in {\Delta }_{n+1}$使得${\mathbf{y}}_k={\sum }_{i=1}^{n+1}{\lambda }_i^k{\mathbf{x}}_i^k$,因此
$$\Vert \mathbf{y}\Vert =\Vert \sum _{i=1}^{n+1}{\lambda }_i{\mathbf{x}}_i\Vert \le \sum _{i=1}^{n+1}{\lambda }_i\Vert {\mathbf{x}}_i\Vert \le M\sum _{i=1}^{n+1}{\lambda }_i=M$$

接着证明闭集

设 { y k } k ≥ 1 ⊆ c o n v ( S ) \left\{\mathbf{y}_{k}\right\}_{k \geq 1} \subseteq conv(S) {yk​}k≥1​⊆conv(S)收敛于$\mathbf{y}\in {\mathbb{R}}^n$

根据Carathéodory 定理

$\exists {\mathbf{x}}_1^k,{\mathbf{x}}_2^k,\dots ,{\mathbf{x}}_{n+1}^k\in S,{\lambda }^k\in {\Delta }_{n+1}$ 使得
$${\mathbf{y}}_k=\sum _{i=1}^{n+1}{\lambda }_i^k{\mathbf{x}}_i^k$$
根据$S$是紧集，${\left\{\left({\lambda }^k,{\mathbf{x}}_1^k,{\mathbf{x}}_2^k,\dots ,{\mathbf{x}}_{n+1}^k\right)\right\}}_{k\ge 1}$的子列${\left\{\left({\lambda }^{k_j},{\mathbf{x}}_1^{k_j},{\mathbf{x}}_2^{k_j},\dots ,{\mathbf{x}}_{n+1}^{k_j}\right)\right\}}_{j\ge 1}$的极限为
$$\left(\lambda ,{\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_{n+1}\right)$$
其中$\lambda \in {\Delta }_{n+1},{\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_{n+1}\in S$

当$j\to \infty$
$$\mathbf{y}=\sum _{i=1}^{n+1}{\lambda }_i{\mathbf{x}}_i$$
即$\mathbf{y}\in conv(S)$

引理2

设${\mathbf{a}}_1,{\mathbf{a}}_2,\dots ,{\mathbf{a}}_k\in {\mathbb{R}}^n$，则 cone ⁡ ( { a 1 , a 2 , … , a k } ) \operatorname{cone}\left(\left\{\mathrm{a}_{1}, \mathrm{a}_{2}, \ldots, \mathrm{a}_{k}\right\}\right) cone({a1​,a2​,…,ak​})是闭集

证明：
根据conic representation theorem，
cone ⁡ ( { a 1 , a 2 , ⋯   , a k } ) \operatorname{cone}\left(\left\{\mathbf{a}_{1}, \mathbf{a}_{2}, \cdots, \mathbf{a}_{k}\right\}\right) cone({a1​,a2​,⋯,ak​})的每一个元素，都可以被 { a 1 , a 2 , ⋯   , a k } \left\{\mathbf{a}_{1}, \mathbf{a}_{2}, \cdots, \mathbf{a}_{k}\right\} {a1​,a2​,⋯,ak​}的线性无关子集的凸锥组合表示
因此，设$S_1,\cdots ,S_N$是 { a 1 , a 2 , ⋯   , a k } \left\{\mathbf{a}_{1}, \mathbf{a}_{2}, \cdots, \mathbf{a}_{k}\right\} {a1​,a2​,⋯,ak​}的子集，且$S_i$中的元素线性无关
那么
cone ⁡ ( { a 1 , a 2 , … , a k } ) = ⋃ i = 1 N cone ⁡ ( S i ) \operatorname{cone}\left(\left\{\mathbf{a}_{1}, \mathbf{a}_{2}, \ldots, \mathbf{a}_{k}\right\}\right)=\bigcup_{i=1}^{N} \operatorname{cone}\left(S_{i}\right) cone({a1​,a2​,…,ak​})=i=1⋃N​cone(Si​)

让 i ∈ { 1 , 2 , ⋯   , N } i\in \left\{1,2,\cdots,N\right\} i∈{1,2,⋯,N},那么
S i = { b 1 , b 2 , … , b m } S_{i}=\left\{\mathbf{b}_{1}, \mathbf{b}_{2}, \ldots, \mathbf{b}_{m}\right\} Si​={b1​,b2​,…,bm​}
其中${\mathbf{b}}_1,{\mathbf{b}}_2,\dots ,{\mathbf{b}}_m$线性无关
也可以写成
$$\mathrm{cone}\left(S_i\right)=\left\{\mathbf{B}\mathbf{y}:\mathbf{y}\in {\mathbb{R}}_{+}^m\right\}$$
其中$\mathbf{B}=({\mathbf{b}}_1,{\mathbf{b}}_2,\dots ,{\mathbf{b}}_m)$
设$\forall k\ge 1,{\mathbf{x}}_k\in cone(S_i)$,
${\mathbf{x}}_k\to \bar{\mathbf{x}}$
因为${\mathbf{x}}_k\in cone(S_i)$,
$$\exists {\mathbf{y}}_k\in {\mathbb{R}}_{+}^m,s.t.{\mathbf{x}}_k={\mathbf{B}\mathbf{y}}_k$$
因为$\mathbf{B}$的列向量线性无关，所以
$${\mathbf{y}}_k={\left({\mathbf{B}}^T\mathbf{B}\right)}^{-1}{\mathbf{B}}^T{\mathbf{x}}_k$$
令$k\to \infty$,于是${\mathbf{y}}_k\to \bar{\mathbf{y}}$
其中$\bar{\mathbf{y}}={\left({\mathbf{B}}^T\mathbf{B}\right)}^{-1}{\mathbf{B}}^T\bar{\mathbf{x}}$
于是$\overline{\mathbf{x}}=\mathrm{B}\overline{\mathbf{y}}$
因此$\overline{\mathbf{x}}\in \mathrm{cone}\left(S_i\right)$

极点

定义

extreme points

设$S\in \subseteq {\mathbb{R}}^n$是一个凸集

$\mathbf{x}\in S$

如果不存在${\mathbf{x}}_1,{\mathbf{x}}_2\in S({\mathbf{x}}_1\ne {\mathbf{x}}_2),\lambda \in (0,1)$,使得$\mathbf{x}=\lambda {\mathbf{x}}_1+(1-\lambda ){\mathbf{x}}_2$

则$\mathbf{x}$称为$S$的一个极点

$S$的极点的集合记为$ext(S)$

定理

设 P = { x ∈ R n : A x = b , x ≥ 0 } P=\left\{\mathbf{x} \in \mathbb{R}^{n}: \mathbf{A x}=\mathbf{b}, \mathbf{x} \geq 0\right\} P={x∈Rn:Ax=b,x≥0}

其中$\mathbf{A}\in {\mathbb{R}}^{m\times n},\mathbf{b}\in {\mathbb{R}}^m$,并且$\mathbf{A}$行线性无关

那么$\bar{\mathbf{x}}$是一个$P$的一个bfs，当且仅当他是一个$P$的一个极点

证明：

充分性：当$\bar{\mathbf{x}}$是bfs

不妨设${\bar{\mathbf{x}}}_1>0,{\bar{\mathbf{x}}}_2>0,\cdots ,{\bar{\mathbf{x}}}_k>0,{\bar{\mathbf{x}}}_{k+1}={\bar{\mathbf{x}}}_{k+2}=\cdots ={\bar{\mathbf{x}}}_n=0$

根据bfs的定义，${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_k$线性无关

假设$\overline{\mathbf{x}}\notin \mathrm{ext}(P)$

则设$\exists \mathbf{y},\mathbf{z}\ge 0,\lambda \in (0,1),s.t.\bar{\mathbf{x}}=\lambda \mathbf{y}+(1-\lambda )\mathbf{z}$

因为$\mathbf{y},\mathbf{z}\ge 0$,可以得到他们至少有$n-k$个分量是0
$$\begin{array}{rl}& \sum _{i=1}^k{\mathbf{y}}_i{\mathbf{a}}_i=\mathbf{b}\\ & \sum _{i=1}^k{\mathbf{z}}_i{\mathbf{a}}_i=\mathbf{b}\\ & \sum _{i=1}^k({\mathbf{y}}_i-{\mathbf{z}}_i){\mathbf{a}}_i=0\end{array}$$
因为$\mathbf{y}\ne \mathbf{z}$，所以${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_k$线性相关

矛盾

必要性：

设$\tilde{\mathbf{x}}\in P$是一个极点

假设$\tilde{\mathbf{x}}$不是bfs

这意味着对应的列向量线性相关

不妨设$\tilde{\mathbf{x}}$的前$k$个分量为正

存在$0\ne \mathbf{y}\in {\mathbb{R}}^k$,使得
$$\sum _{i=1}^k{y}_i{\mathbf{a}}_i=0$$
也可以写成$A\tilde{\mathbf{y}}=0$,其中$\tilde{\mathbf{y}}=\left(\begin{array}{c}\mathbf{y}\\ 0_{n-k}\end{array}\right)$

因为$\tilde{\mathrm{x}}$的前$k$个分量是正的，所以$\exists ϵ>0$,使得${\mathbf{x}}_1=\tilde{\mathbf{x}}+ϵ\tilde{\mathbf{y}}\ge 0$,以及${\mathbf{x}}_2=\tilde{\mathbf{x}}-ϵ\tilde{\mathbf{y}}\ge 0$

所以${\mathbf{A}\mathbf{x}}_1=\mathbf{A}\tilde{\mathbf{x}}+ϵ\mathbf{A}\tilde{\mathbf{y}}=\mathbf{b}+ϵ\cdot 0=\mathbf{b}$

类似地${\mathbf{A}\mathbf{x}}_2=\mathbf{b}$

因此${\mathbf{x}}_1,{\mathbf{x}}_2\in P$

因为${\mathbf{x}}_1\ne {\mathbf{x}}_2,\tilde{\mathbf{y}}\ne 0$

所以$\tilde{\mathbf{x}}=\frac{1}{2}{\mathbf{x}}_1+\frac{1}{2}{\mathbf{x}}_2\in ext(P)$

矛盾

Krein-Milman

设$S\subseteq {\mathbb{R}}^n$是一个紧的凸集则
$$S=conv(ext(S))$$