凸集

凸集（Convex Set）

对于线性空间 $V$ 中的任意一个集合 $S,$若 $S$ 满足：
$\forall \alpha, \beta \in S, \forall \lambda \in [0, 1], \lambda \alpha + (1 - \lambda )\beta \in S$
则称 $S$ 为凸集。

例

1. $S = \{X \in \mathbb R^{n} \mid \sqrt {X^{\intercal} X} \le r \}, r \gt 0$
2. $S = \{X \in \mathbb R^{n} \mid AX = \beta \}, A \in \mathbb R^{m \times n}, \beta \in \mathbb R^{m}$
3. $S = \{X \in \mathbb R^{n} \mid AX = \beta, X \ge \vec 0 \}, A \in \mathbb R^{m \times n}, \beta \in \mathbb R^{m}$
4. $S = \{X \in \mathbb R^{n} \mid AX \le \beta, X \ge \vec 0 \}, A \in \mathbb R^{m \times n}, \beta \in \mathbb R^{m}$
5. $S = \left \{X \in \mathbb R^{n} \mid X = \sum \limits_{i = 1} ^{m} x_{i} \alpha_{i} \right \}, x_{i} \in \mathbb R, x_{i} \ge 0, \sum \limits_{i = 1} ^{m} x_{i} = 1, a_{i} \in \mathbb R^{n}$
   证明： $\forall \alpha, \beta \in S,$ 存在集合
   $\left \{ x _{i} \in \mathbb R \vert i \in \mathbb N, x _{i} \ge 0, 1 \le i \le m \right \}, \left \{ y _{i} \in \mathbb R \vert i \in \mathbb N, y _{i} \ge 0,1 \le i \le m \right \},$ 使得
   $\begin{cases} \alpha = \sum \limits_{i = 1} ^{m} x _{i} \alpha _{i} \\ \beta = \sum \limits_{i = 1} ^{m} y _{i} \alpha _{i} \end{cases},$ 且 $\begin{cases} \sum \limits_{i = 1} ^{m} x _{i} = 1 \\ \sum \limits_{i = 1} ^{m} y _{i} = 1 \end{cases} ,$
   则 $\forall \lambda \in [0, 1], \lambda \alpha + (1 - \lambda) \beta= \lambda \sum \limits_{i = 1} ^{m} x _{i} \alpha _{i} + (1 - \lambda) \sum \limits_{i = 1} ^{m} y _{i} \alpha _{i} = \sum \limits_{i = 1} ^{m} \left ( \lambda x _{i} + (1 - \lambda) y _{i} \right ) \alpha _{i},$
   且 $\sum \limits_{i = 1} ^{m} \left ( \lambda x _{i} + (1 - \lambda) y _{i} \right ) = \lambda \sum \limits_{i = 1} ^{m} x _{i} + (1 - \lambda) \sum \limits_{i = 1} ^{m} y _{i} = \lambda + (1 - \lambda) = 1$
   $\lambda x _{i} + (1 - \lambda) y _{i} \ge 0, 1 \le i \le m,$
   因此 $\lambda \alpha + (1 - \lambda) \beta \in S$

性质

对于线性空间 $V$ 中的任意两个凸集 $S, T,$ 对于任意一个实数 $k \in \mathbb R,$
1. $k S$ 也是凸集。
证明： $\forall \alpha, \beta \in kS, \exists X, Y \in S,$ 使得 $\alpha = k X, \beta= k Y,$ 则
$\forall \lambda \in [0, 1],$ 由于$S$ 是凸集，因此 $\lambda X + (1 - \lambda )Y \in S,$ 于是
$\lambda \alpha + (1 - \lambda )\beta = \lambda (k X) + (1 - \lambda ) ( k Y) = k[\lambda X + (1 - \lambda )Y] \in kS$
2. $S \cap T$ 也是凸集。
证明： $\forall \alpha, \beta \in S \cap T, \alpha, \beta \in S, \alpha, \beta \in T,$ 则
$\forall \lambda \in [0, 1],$ 由于$S, T$ 是凸集，因此 $\lambda \alpha + (1 - \lambda )\beta \in S, \lambda \alpha + (1 - \lambda )\beta \in T,$ 于是
$\lambda \alpha + (1 - \lambda )\beta \in S \cap T$
3. $S + T = \{ X + Y \mid X \in S, Y \in T \}$ 也是凸集。
证明： $\forall \alpha, \beta \in S + T, \exists X_1, X_2 \in S, Y_1, Y_2 \in T,$ 使得 $\alpha = X_1 + Y_1, \beta= X_2 + Y_2,$ 则
$\forall \lambda \in [0, 1],$ 由于$S, T$ 是凸集，因此 $\lambda X_1 + (1 - \lambda ) X_2 \in S, \lambda Y_1 + (1 - \lambda ) Y_2 \in T,$ 于是
$\lambda \alpha + (1 - \lambda )\beta = \lambda (X_1 + Y_1) + (1 - \lambda )( X_2 + Y_2)$
$= [\lambda X_1 + (1 - \lambda ) X_2] + \lambda [Y_1 + (1 - \lambda ) Y_2]$
$\in S + T$
4. $S - T= \{ X - Y \mid X \in S, Y \in T \}$ 也是凸集。
证明： $\forall \alpha, \beta \in S - T, \exists X_1, X_2 \in S, Y_1, Y_2 \in T,$ 使得 $\alpha = X_1 - Y_1, \beta= X_2 - Y_2,$ 则
$\forall \lambda \in [0, 1],$ 由于$S, T$ 是凸集，因此 $\lambda X_1 + (1 - \lambda ) X_2 \in S, \lambda Y_1 + (1 - \lambda ) Y_2 \in T,$ 于是
$\lambda \alpha + (1 - \lambda )\beta = \lambda (X_1 - Y_1) + (1 - \lambda )( X_2 - Y_2)$
$= [\lambda X_1 + (1 - \lambda ) X_2] - [\lambda Y_1 + (1 - \lambda ) Y_2]$
$\in S - T$

凸组合（Convex Combination）

$\forall \alpha, \beta, \gamma \in V,$ 若 $\exists \lambda \in [0, 1],$ 使得 $\gamma = \lambda \alpha + (1 - \lambda )\beta$ 则称向量 $\gamma$ 为 $\alpha$ 与 $\beta$ 的凸组合。若 $\lambda \in (0, 1),$ 则称 $\gamma$ 为 $\alpha$ 与 $\beta$ 的严格（strict）凸组合。

凸集的极点（Extreme point）

对于凸集 $S$ 中的任意一个点 $\gamma,$ 若 $\gamma$ 不是 $S$ 中任意两个不同点的严格凸组合，则称 $\alpha$ 为 $S$ 的一个极点。
即： 若 $\exists \alpha, \beta \in V, \lambda \in (0, 1),$ 使得 $\gamma = \lambda \alpha + (1 - \lambda )\beta,$ 则 $\alpha = \beta$ 。

超平面（Hyperplane）与半平面（Half-space）

$\forall \alpha \in \mathbb R^{n}, \alpha \neq \vec 0, k \in \mathbb R,$ 称集合 $\{X \in \mathbb R^{n} \mid \alpha ^{\intercal} X = k \}$ 为超平面。
称集合 $\{X \in \mathbb R^{n} \mid \alpha ^{\intercal} X \ge k \}$ 为半平面。

性质

1. 对于任意一个超平面 $S = \{X \in \mathbb R^{n} \mid \alpha ^{\intercal} X = k \},$
   $\forall X_{0} \in S,$ $S = \{X \in \mathbb R^{n} \mid \alpha ^{\intercal} (X - X_{0}) = 0 \}$
   证明： $X_{0} \in S$ 得 $\alpha ^{\intercal} X_{0} = k ,$ 因此
   $\forall X \in \mathbb R^{n}, X \in S \Leftrightarrow \alpha ^{\intercal} X = k \Leftrightarrow \alpha ^{\intercal} X = \alpha ^{\intercal} X_{0} \Leftrightarrow \alpha ^{\intercal} (X - X_{0}) = 0$
2. 对于任意一个超平面 $S = \{X \in \mathbb R^{n} \mid \alpha ^{\intercal} X = k \},$
   $\forall X_{0} \in S,$ 半平面 $S_1 = \{X \in \mathbb R^{n} \mid \alpha ^{\intercal} X \ge k \} = \{X \in \mathbb R^{n} \mid \alpha ^{\intercal} (X - X_{0}) \ge 0 \}$
   证明： $X_{0} \in S$ 得 $\alpha ^{\intercal} X_{0} = k ,$ 因此
   $\forall X \in \mathbb R^{n}, X \in S_1 \Leftrightarrow \alpha ^{\intercal} X \ge k \Leftrightarrow \alpha ^{\intercal} X \ge \alpha ^{\intercal} X_{0} \Leftrightarrow \alpha ^{\intercal} (X - X_{0}) \ge 0$
3. $\forall \alpha \in \mathbb R^{n}, \alpha \neq \vec 0, k \in \mathbb R,$ $S = \{X \in \mathbb R^{n} \mid \alpha ^{\intercal} X \le k \}$ 也为超平面。
   证明：$\forall X \in \mathbb R^{n}, X \in S \Leftrightarrow \alpha ^{\intercal} X \le k \Leftrightarrow -\alpha ^{\intercal} X \ge -k \Leftrightarrow (-\alpha) ^{\intercal} X \ge -k$