凸优化2:凸集(convex set)

1、仿射集 Affine sets

定义1：一个集合$C$是仿射集，若$\forall x_1,x_2\in C$,则连接$x_1$与$x_2$的直线也在集合内
$$\begin{gathered} 直线x_1\ne x_2\in R^n,\theta \in R \\ y=\theta x_1+(1-\theta )x_2 \\ =x_2+\theta (x_1-x_2)\in R^n \end{gathered}$$
定义2：
$$\begin{gathered} \forall x_1,...,x_k\in C \\ {\theta }_1,...,{\theta }_k\in R \\ {\theta }_1+...+{\theta }_k=1 \\ 仿射组合{\theta }_1{x}_1+...+{\theta }_k{x}_k\in C \end{gathered}$$
证明两种定义等价：
$$\begin{gathered} 有仿射集C,x_1,x_2,x_3\in C,{\theta }_1,{\theta }_2,{\theta }_3\in R,{\theta }_1+{\theta }_2+{\theta }_3=1 \\ \frac{{\theta }_1}{{\theta }_1+{\theta }_2}{x}_1+\frac{{\theta }_2}{{\theta }_1+{\theta }_2}{x}_2\in C \\ 将上式作为一个点，由凸集性质有： \\ ({\theta }_1+{\theta }_2)(\frac{{\theta }_1}{{\theta }_1+{\theta }_2}{x}_1+\frac{{\theta }_2}{{\theta }_1+{\theta }_2}{x}_2)+(1-{\theta }_1-{\theta }_2)x_3\in C \\ \Rightarrow {\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3=1 \end{gathered}$$
仿射集的性质：
∀    x 1 , x 2 ∈ C , C 是 仿 射 集 ， θ x 1 + ( 1 − θ ) x 2 ∈ C 我 们 称 与 C 相 关 的 子 空 间 V = C − x 0 = { x − x 0 ∣ x ∈ C } , ∀    x 0 ∈ C \forall \space\space x_1,x_2 \in C,C是仿射集，\theta x_1+(1-\theta)x_2 \in C\\ 我们称与C相关的子空间V=C-x_0=\{x-x_0|x \in C\},\forall \space\space x_0 \in C ∀  x1​,x2​∈C,C是仿射集，θx1​+(1−θ)x2​∈C我们称与C相关的子空间V=C−x0​={x−x0​∣x∈C},∀  x0​∈C
$Ex1：$线性方程组的解集是仿射集
C = { x ∣ A x = b } , A ∈ R m × n , b ∈ R m , x ∈ R n ∀    x 1 , x 2 ∈ C , A x 1 = b , A x 2 = b C=\{x|Ax=b\},A \in R^{m \times n},b \in R^m,x \in R^n \\ \forall \space\space x_1,x_2 \in C, Ax_1=b,Ax_2=b \\ C={x∣Ax=b},A∈Rm×n,b∈Rm,x∈Rn∀  x1​,x2​∈C,Ax1​=b,Ax2​=b

$$\begin{gathered} 证明：\theta x_1+(1-\theta )x_2\in C \\ A(\theta x_1+(1-\theta )x_2) \\ \Rightarrow \theta A{x}_1+(1-\theta )A{x}_2=\theta b+(1-\theta )b=b \end{gathered}$$

任意集合$C$，构造尽可能小的仿射集

引入新定义：仿射包
a f f    C = { θ 1 x 1 + . . . + θ k x k ∣ ∀    x 1 , . . . x k ∈ C , ∀    θ 1 + . . . + θ k = 1 } aff \space\space C=\{\theta_1 x_1+...+\theta_k x_k|\forall\space\space x_1,...x_k \in C,\forall \space\space \theta_1+...+\theta_k=1\} aff  C={θ1​x1​+...+θk​xk​∣∀  x1​,...xk​∈C,∀  θ1​+...+θk​=1}

2、凸集 Convex Set

定义：一个集合$C$是凸集，当任意两点之间的线段仍然在$C$内

数学描述：
$$C为凸集\iff \forall x_1,x_2\in C,\forall \theta ,\theta \in [0,1],\theta x_1+(1-\theta )x_2\in C$$
仿射集一定是一个凸集

引入新定义凸组合：
$$\begin{gathered} x_1,...,x_k的凸组合为{\theta }_1{x}_1+...{\theta }_k{x}_k \\ 其中：{\theta }_1,...,{\theta }_k\in R \\ {\theta }_1+...+{\theta }_k=1 \\ {\theta }_1,...,{\theta }_k\in [0,1] \end{gathered}$$
定理：$C$为凸集$\iff$任意元素的凸组合$\in C$

引入新定义凸包，$C\in R^n$
C o n v   C = { θ 1 x 1 + . . . + θ k x k ∣ ∀   x 1 , . . . , x k ∈ C , ∀   θ 1 , . . . , θ k ∈ [ 0 , 1 ] , θ 1 + . . . + θ k = 1 } Conv \space C=\{\theta_1 x_1+...+\theta_k x_k|\forall \space x_1,...,x_k \in C,\\ \forall \space \theta_1,...,\theta_k \in [0,1], \theta_1+...+\theta_k=1\} Conv C={θ1​x1​+...+θk​xk​∣∀ x1​,...,xk​∈C,∀ θ1​,...,θk​∈[0,1],θ1​+...+θk​=1}

3、锥 Cone 凸锥 Convex Cone

定义：$C$是锥$\iff \forall x\in C,\theta \ge 0$有$\theta x\in C$

$C$是凸锥$\iff \forall x_1,x_2\in C,{\theta }_1,{\theta }_2\ge 0$有${\theta }_1{x}_1+{\theta }_2{x}_2\in C$

引入新定义：

凸锥组合：${\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_k{x}_k,{\theta }_1,...,{\theta }_k\ge 0$

凸锥包：$x_1,...,x_k\in C$ { θ 1 x 1 + . . . + θ k x k ∣ x 1 , . . . , x k ∈ C , θ 1 , . . . , θ k ≥ 0 } \{\theta_1 x_1+...+\theta_k x_k|x_1,...,x_k \in C, \theta_1,...,\theta_k \geq 0\} {θ1​x1​+...+θk​xk​∣x1​,...,xk​∈C,θ1​,...,θk​≥0}

下图为三个凸锥包的示例：

4、仿射组合、凸组合、凸锥组合的对比：

仿射组合	$\forall {\theta }_1,...,{\theta }_k$	${\theta }_1+...+{\theta }_k=1$
凸组合	$\forall {\theta }_1,...,{\theta }_k$	$$\begin{gathered} {\theta }_1+...+{\theta }_k=1 \\ {\theta }_1+...+{\theta }_k\in [0,1] \end{gathered}$$
凸锥组合	$\forall {\theta }_1,...,{\theta }_k$	${\theta }_1+...+{\theta }_k\ge 0$

5、一些重要结论

• 只由一个点构成的集合 C = { X } C=\{X\} C={X}是仿射集、凸集
• 若该点为原点，则C为凸锥，否则不是凸锥
• 空集是仿射集、凸集、凸锥