Affine set 和 convex set 的定义

什么是 affine set

定义：假设有一个集合 $C\subseteq {\mathbb{R}}^n$, 如果连接集合 $C$ 当中的任何两点构成的直线也在集合 $C$ 之中，那么我们就说集合 $C$ 是一个 affine set。

如果用数学语言来表述，就是对于任何 $x_1,x_2\in C$，对任意 $\theta \in \mathbb{R}$，我们有 $\theta x_1+(1-\theta )x_2\in C$。如果一个集合满足这个性质，我们就说这个集合是一个 affine set。

什么是 convex set

Convex set 的定义与 affine set 的定义类似，区别在于 convex set 要求连接集合 $C$ 当中的任何两点构成的线段也在集合 $C$ 之中。

定义：假设有一个集合 $C\in {\mathbb{R}}^n$, 如果连接集合 $C$ 当中的任何两点构成的线段也在集合 $C$ 之中，那么我们就说集合 $C$ 是一个 convex set。

用数学语言来描述，就是对于任何 $x_1,x_2\in C$，对任意 $0\le \theta \le 1$，我们有 $\theta x_1+(1-\theta )x_2\in C$。如果一个集合满足这个性质，我们就说这个集合是一个 convex set。

从空间结构上来说，对于一个 convex set，连接其中的两个点，所得到的线段也在这个 convex set 中。所以下图代表的集合就不是 convex set。

关于 convexity 的几个性质

除了定义，我们还有如下的几个关于 convexity 和 affine 的性质。

定理1：如果一个集合 $C\in {\mathbb{R}}^n$ 是一个 convex set，$x_1,x_2,\cdots ,x_k$ 是集合 $C$ 里的 $k$ 个点，那么对于 ${\theta }_1+{\theta }_2+\cdots +{\theta }_k=1$, ${\theta }_i\ge 0,1\le i\le k$，我们有 ${\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_k{x}_k$ 也是集合 $C$ 中的一个点。

也就是说，对于 convex set 的定义中的两个点的情况，我们可以推广到任意 $k$ 个点的情况。

我们用数学归纳法来证明上面的定理。当 $k=1$ 时，结论自然成立。当 $k=2$ 时，就是 convex set 的定义。假设结论对 $k$ 成立，$k\ge 2$，我们考虑 $k+1$ 的情况。令 $A={\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_{k+1}{x}_{k+1}$。对于 ${\theta }_1,{\theta }_2,\cdots {\theta }_{k+1}$ 这 $k+1$ 个数，一定有一个小于 1。方便起见，假设 ${\theta }_1\ne 1$。我们有

$\begin{array}{rl}A& ={\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_{k+1}{x}_{k+1}\\ & ={\theta }_1{x}_1+(1-{\theta }_1)\left(\frac{{\theta }_2}{1-{\theta }_1}{x}_2+\frac{{\theta }_3}{1-{\theta }_1}{x}_3+\cdots +\frac{{\theta }_{k+1}}{1-{\theta }_1}{x}_{k+1}\right)\\ & ={\theta }_1{x}_1+(1-{\theta }_1)B\end{array}$

而 $B=\frac{{\theta }_2}{1-{\theta }_1}{x}_2+\frac{{\theta }_3}{1-{\theta }_1}{x}_3+\cdots +\frac{{\theta }_{k+1}}{1-{\theta }_1}{x}_{k+1}$，并且 $\frac{{\theta }_2}{1-{\theta }_1}+\frac{{\theta }_3}{1-{\theta }_1}+\cdots +\frac{{\theta }_{k+1}}{1-{\theta }_1}=\frac{{\theta }_2+{\theta }_3+\cdots +{\theta }_{k+1}}{1-{\theta }_1}=1$。应用我们的假设，结论对于 $k$ 是成立的，所以 $B\in C$。从而 $A\in C$。也就是说，结论对于 $k+1$ 的情况也是成立的。$\square$

定理2：一个集合 $C\in {\mathbb{R}}^n$ 是一个 convex set，当且仅当集合 $C$ 与任意直线的交集是一个 convex set。

我们先证明必要性。假设集合 $C\in {\mathbb{R}}^n$ 是一个 convex set。我们知道一条直线是一个 convex set。另外，我们知道，两个 convex set 的交集也是一个 convex set。从而，$C$ 与任意直线的交集也是一个 convex set。

再证充分性。假设 $x_1,x_2\in C$。因为集合 $C$ 与任意直线的交集是一个 convex set，从而 $C$ 与通过 $x_1,x_2$ 的直线的交集也是一个 convex set。记这个交集为 $D$。那么由 $x_1$ 与 $x_2$ 构成的 convex combination，即 $\theta x_1+(1-\theta )x_2$，也在 $D$ 之中。从而 $\theta x_1+(1-\theta )x_2$ 也在 $C$ 中。所以， $C$ 是一个 convex set。

我们不难发现，上述两个定理的证明可以移植到 affine set 中去。所以我们也有。

定理3：如果一个集合 $C\in {\mathbb{R}}^n$ 是一个 affine set，$x_1,x_2,\cdots ,x_k$ 是集合 $C$ 里的 $k$ 个点，那么对于 ${\theta }_1+{\theta }_2+\cdots +{\theta }_k=1$, ${\theta }_i\ge 0,1\le i\le k$，我们有 ${\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_k{x}_k$ 也是集合 $C$ 中的一个点。

定理4：一个集合 $C\in {\mathbb{R}}^n$ 是一个 affine set，当且仅当集合 $C$ 与任意直线的交集是一个 affine set。

什么是 convex hull

对于任意的一个集合 $C\in {\mathbb{R}}^n$， 我们都可以定义集合 $C$ 的 Convex hull。那怎样定义集合 $C$ 的 Convex hull 呢？

如果集合 $C\in {\mathbb{R}}^n$，那么集合 $C$ 的 convex hull 定义为
定义： c o n v   C = { θ 1 x 1 + θ 2 x 2 + ⋯ θ k x k   ∣   x i ∈ C , θ i ≥ 0 , i = 1 ,   2 ,   ⋯ k , θ 1 + θ 2 + ⋯ + θ k = 1 } \mathbf{conv} \, C = \{ \theta_1 x_1 + \theta_2 x_2 + \cdots \theta_k x_k \, | \, x_i \in C, \theta_i \geq 0, i = 1, \, 2, \, \cdots k, \theta_1 + \theta_2 + \cdots + \theta_k = 1 \} convC={θ1​x1​+θ2​x2​+⋯θk​xk​∣xi​∈C,θi​≥0,i=1,2,⋯k,θ1​+θ2​+⋯+θk​=1}。

也就是说，convex hull 是由集合 $C$ 之中所有点的 convex combination 所构成的集合。首先，$\mathbf{c}\mathbf{o}\mathbf{n}\mathbf{v}C$ 是一个 convex set。这是因为如果
$A={\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_i{x}_i,\sum _{k=1}^i{\theta }_k=1$
$B={\tau }_1{y}_1+{\tau }_2{y}_2+\cdots +{\tau }_j{y}_j,\sum _{k=1}^j{\tau }_k=1$，
那么，对于 $\alpha \in [0,1]$，

$\alpha A+(1-\alpha )B=\alpha {\theta }_1{x}_1+\cdots +\alpha {\theta }_i{x}_i+(1-\alpha ){\tau }_1{y}_1+\cdots +(1-\alpha ){\tau }_j{y}_j$。

所有的 $x_k,y_k$ 项的系数相加为 $\alpha ({\theta }_1+{\theta }_2+\cdots +{\theta }_i)+(1-\alpha )({\tau }_1+{\tau }_2+\cdots +{\tau }_j)=\alpha +1-\alpha =1$。

从而，$\alpha A+(1-\alpha )B\in \mathbf{c}\mathbf{o}\mathbf{n}\mathbf{v}C$。这就证明了 $\mathbf{c}\mathbf{o}\mathbf{n}\mathbf{v}C$ 是一个 convex set。

事实上， $\mathbf{c}\mathbf{o}\mathbf{n}\mathbf{v}C$ 是所有包含 $C$ 的 convex sets 当中最小的那个。也就是说，如果 $C\subseteq B$，且 $B$ 是一个 convex set，那么 $\mathbf{c}\mathbf{o}\mathbf{n}\mathbf{v}C\subseteq B$。

这个证明也很直接。这里就从略了。

同样的，我们可以把 convex 换成 affine，上述定义和结论对于 affine 的情况也是成立的。

什么是 convex cone

为了定义 convex cone，我们先来定义 cone。

什么是 cone

定义： 一个集合 $C\in {\mathbb{R}}^n$， 如果对任意 $x\in C$，以及任意 $\theta \ge 0$，我们都有 $\theta x\in C$，那么集合 $C$ 就是一个 cone。

通过定义我们发现，原点 $0$ 肯定是属于一个 cone 的。

什么是 convex cone

而对于 convex cone，其定义就是 如果一个集合 $C\in {\mathbb{R}}^n$ 既是一个 convex set，而且还是一个 cone，那么这个集合就是 convex cone。

对于 convex cone，我们有下面的一个性质。

如果集合 $C$ 是一个 convex cone，那么对于任意 $x_1,x_2\in C$, 以及任意 ${\theta }_1\ge 0,{\theta }_2\ge 0$， 我们有 ${\theta }_1{x}_1+{\theta }_2{x}_2\in C$。

怎么证明这个结论呢？因为 $C$ 是一个 cone，所以对于任意 $\lambda \ge 0,\mu \ge 0$，我们有 $\lambda x_1\in C$, $\mu x_2\in C$。而 $C$ 又是一个 convex set，于是对于任意 $\alpha \in [0,1]$，我们有 $\alpha \lambda x_1+(1-\alpha )\mu x_2\in C$。注意这里 $\lambda ,\mu$ 可以是任意实数，而 $\alpha$ 是任意在 [0, 1] 之间的实数。从而对于任意 ${\theta }_1,{\theta }_2\ge 0$，我们总可以找到 $\lambda ,\mu$ 以及 $\alpha$，使得

$\{\begin{array}{l}{\theta }_1=\alpha \lambda \\ {\theta }_2=(1-\alpha )\mu \end{array}$

从而，对于任意 ${\theta }_1\ge 0,{\theta }_2\ge 0$，我们就证明了 ${\theta }_1{x}_1+{\theta }_2{x}_2\in C$。

参考文献

Convex optimization, Chapter 1, Stephen Boyd, Lieven Vandenberghe, Cambridge University Press, (2004)