凸优化学习[二]|仿射集、凸集、凸锥

直线(Lines)和线段(line segments)

  我们令$x_1$、 $x_2$为${\mathbf{R}}^n$空间中的两个不重合的点$x_1\ne x_2$，那么直线和线段都可以用下式统一地表示$$y=\theta x_1+(1-\theta )x_2$$特别地
$$直线:\theta \in [0,1]$$$$线段：\theta \in \mathbf{R}$$
  为了说明这个式子隐含的意义，我们对其稍作变形$$y=x_2+\theta (x_1-x_2)$$  现在我们考虑考虑一个二维(${\mathbf{R}}^2$)的情形，这里的$x_1$、$x_2$我们看作在${\mathbf{R}}^2$空间上的向量。
  这个意义是显然的，$y$走过了$\theta$倍的$x_1-x_2$长度，当$\theta =1$时，$y$恰好称为一条连接$x_1{x}_2$的线段，而当$\theta$取遍$\mathbf{R}$的时候，$y$将向两端无限延展成为一条直线。

仿射集(Affine sets）

  仿射集合的定义是简单而抽象的：
  若过集合$\mathbf{C}\subseteq {\mathbf{R}}^n$中任意两个点的直线仍在集合$\mathbf{C}$中，称$\mathbf{C}$为仿射集。
  利用直线的知识，我们可以用数学的语言描述这个集合$\mathbf{C}$
$$\forall x_1,x_2\in \mathbf{C},\theta \in \mathbf{R},\theta x_1+(1-\theta )x_2\in \mathbf{R}$$

仿射组合(Affine combination)

  仿射集合的概念可以扩充到$k$个点的情况
$$若：{\theta }_1+{\theta }_2+\cdots {\theta }_k=1,x_1,...,x_k\in \mathbf{C}$$$$有：{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots {\theta }_k{x}_k\in \mathbf{C}$$
则称 ${\theta }_1{x}_1+{\theta }_2{x}_2+\cdots {\theta }_k{x}_k$ 是一个$x_1,...,x_k$的仿射组合(an affine combination of the points $x_1,...,x_k$)。
  以下对$n=3$的情况做简要证明：
  设 ${\theta }_1+{\theta }_2+{\theta }_3$，$x_1,x_2,x_3\in \mathbf{C}$,
$$\frac{{\theta }_1}{{\theta }_1+{\theta }_2}{x}_1+\frac{{\theta }_2}{{\theta }_1+{\theta }_2}{x}_2\in \mathbf{C}$$
  那么加入第三个点
$$({\theta }_1+{\theta }_2)(\frac{{\theta }_1}{{\theta }_1+{\theta }_2}{x}_1+\frac{{\theta }_2}{{\theta }_1+{\theta }_2}{x}_2)+(1-{\theta }_1-{\theta }_2)x_3\in \mathbf{C}$$

证明提示：将$\frac{{\theta }_1}{{\theta }_1+{\theta }_2}{x}_1+\frac{{\theta }_2}{{\theta }_1+{\theta }_2}$看作$\mathbf{C}$中的一个点。

仿射包(Affine hull)

  仿射包是一个包含集合（不一定是仿射集）$\mathbf{C}$的最小仿射集，记为$\mathbf{a}\mathbf{f}\mathbf{f}\mathbf{C}$，即 a f f C = { θ 1 x 1 + θ 2 x 2 + ⋯ θ k x k ∣ θ 1 + θ 2 + ⋯ θ k = 1 , x 1 , . . . , x k ∈ C } \mathbf{aff C} = \{ \theta _1 x_1 + \theta_2x_2+\cdots \theta_kx_k|\theta _1 + \theta_2+\cdots \theta_k=1,x_1,...,x_k\in \mathbf{C} \} affC={θ1​x1​+θ2​x2​+⋯θk​xk​∣θ1​+θ2​+⋯θk​=1,x1​,...,xk​∈C}显然有以下结论成立：
  若$\mathbf{S}$是满足$\mathbf{C}\subseteq \mathbf{S}$的一个仿射集，则$\mathbf{a}\mathbf{f}\mathbf{f}\mathbf{C}\subseteq \mathbf{S}$
  仿射包也有一些浅显易懂的例子，例如，空间任意两个不重合的点其仿射包为经过这两点的直线，三个不重合的点为包含这三个点的平面…

相关子空间(Subspace)

  现思考如下问题
  若$\alpha ,\beta \in \mathbf{R},x_1,x_2\in \mathbf{C}$，其中$\mathbf{C}$是一个${\mathbf{R}}^n$上的仿射集，那么$\alpha x_1+\beta x_2$是否仍属于$\mathbf{C}$?
  这个是不一定的。对比仿射集的定义我们知道当且仅当$\alpha +\beta =1$时才属于仿射集$\mathbf{C}$。
  这里需要引入一个相关子空间的概念。
  如果集合$\mathbf{C}$是一个仿射集，且$x_0\in \mathbf{C}$，那么$$\mathbf{V}=\mathbf{C}-x_0$$  这里称$\mathbf{V}为\mathbf{C}$的相关子空间。
  我们以${\mathbf{R}}^2$为例阐述$\mathbf{V}$的直观含义

  很显然这就相当于坐标轴移动至$x_0$处，或者说以$x_0$为原点构造了一个新的空间。
假如选取的$x_0\notin \mathbf{C}$，则$\mathbf{V}=\mathbf{C}-x_0$，因为对于一个空间而言须满足以下性质:

  1.加法封闭：$x_1,x_2\in \mathbf{V}\Rightarrow x_1+x_2\in \mathbf{V}$

  2.数乘封闭：$x_1\in \mathbf{V},\lambda \in \mathbf{R}\Rightarrow \lambda x_1\in \mathbf{V}$
  需要注意的是：任何一个空间都必须包含一个“原点”(这是一个很哲学的定义，就像人们通常认为的宇宙起源于一次爆炸)，没有原点的集合构不成一个空间，例如二维平面一条不经过原点的直线，这条直线上点构成的集合不是一个空间，因为他不满足加法封闭。

线性方程组的解集(Solution set of linear equations)

  现考虑线性方程组的解集，能试证明线性方程组的解集 { x ∣ A x = b } \{x|Ax=b\} {x∣Ax=b}是一个仿射集合。
$$Ax=b$$
  其中$A\in {\mathbf{R}}^{m\times n},b\in {\mathbf{R}}^m$。
  现取$x_1,x_2\in x$，显然$A{x}_1=b,A{x}_2=b$，令$\theta \in \mathbf{R}$,$x^{\prime }=\theta x_1+(1-\theta )x_2$，有
$$A{x}^{\prime }=A[\theta x_1+(1-\theta )x_2]=\theta A{x}_1+(1-\theta )A{x}_2=\theta b+(1-\theta )b=b$$因此$x^{\prime }\in x$，集合 { x ∣ A x = b } \{x|Ax=b\} {x∣Ax=b}是一个仿射集

凸集(Convex sets)

  假如我们对仿射集的要求加以放宽（注意是放宽），若过集合$\mathbf{C}\subseteq {\mathbf{R}}^n$中任意两个点的线段仍在集合$\mathbf{C}$中，称$\mathbf{C}$为凸集。
  利用线段的知识，我们可以用数学的语言描述这个集合$\mathbf{C}$
$$\forall x_1,x_2\in \mathbf{C},\theta \in [0,1],\theta x_1+(1-\theta )x_2\in \mathbf{R}$$
  注意$\theta \in [0,1]$。
  我们可以用一些形象的例子来说明凸集的性质

  对于第一幅图构成的集合，我们在阴影区域任意选取两个点，过这两个点的线段仍然在这个区域中，因此这是一个凸集。
  对于第二幅图构成的集合，选取如图两个特殊的点，过这两个点的线段将会有一部分超出这个区域，因此不是一个凸集。
  对于第三幅图构成的集合，由于边界不连续，因此在边界上取两个点绘制的线段将可能经过这个不连续区域，因此也不是一个凸集。

凸组合(Convex combination)

  凸集的概念同样可以扩充到$k$个点的情况
$$若：{\theta }_1+{\theta }_2+\cdots {\theta }_k=1,{\theta }_0,\cdots {\theta }_k⩾0,x_1,...,x_k\in \mathbf{C}$$$$有：{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots {\theta }_k{x}_k\in \mathbf{C}$$
  则称 ${\theta }_1{x}_1+{\theta }_2{x}_2+\cdots {\theta }_k{x}_k$ 是一个$x_1,...,x_k$的凸组合。
  提示：凸组合与仿射组合的区别就在于凸组合放宽了限制条件，只需${\theta }_k=1,{\theta }_0,\cdots {\theta }_k⩾0$，这等价于${\theta }_k=1,{\theta }_0,\cdots {\theta }_k\in [0,1]$。
  直观意义上，凸组合就是对$x_1,...,x_k$这$k$个点的加权平均。

凸包(Convex hull)

  凸包的概念可以从仿射包类比过来：
  凸包是一个包含集合（不一定是凸集）$\mathbf{C}$的最小凸集，记为$\mathbf{c}\mathbf{o}\mathbf{n}\mathbf{v}\mathbf{C}$，即 c o n v C = { θ 1 x 1 + θ 2 x 2 + ⋯ θ k x k ∣ θ 1 + θ 2 + ⋯ θ k = 1 , θ 0 , ⋯ θ k ⩾ 0 , x 1 , . . . , x k ∈ C } \mathbf{conv C} = \{ \theta _1 x_1 + \theta_2x_2+\cdots \theta_kx_k|\theta _1 + \theta_2+\cdots \theta_k=1,\theta _0,\cdots \theta _k \geqslant 0,x_1,...,x_k\in \mathbf{C} \} convC={θ1​x1​+θ2​x2​+⋯θk​xk​∣θ1​+θ2​+⋯θk​=1,θ0​,⋯θk​⩾0,x1​,...,xk​∈C}显然有以下结论成立
  若$\mathbf{S}$是满足$\mathbf{C}\subseteq \mathbf{S}$的一个凸集，则$\mathbf{c}\mathbf{o}\mathbf{n}\mathbf{v}\mathbf{C}\subseteq \mathbf{S}$
  以下是凸包的的形象例子

锥、凸锥、锥组合、锥包(Cones, Cone sets, Cone combination, Cone Hull)

  若对于任意$x\in \mathbf{C},\theta ⩾0$，都有$\theta x\in \mathbf{C}$，则称$\mathbf{C}$，为一个锥。显然锥至少包含原点。
  对于任意$x_1,x_2\in \mathbf{C}$和${\theta }_1,{\theta }_2⩾0$，都有$${\theta }_1{x}_1+{\theta }_2{x}_2\in C$$的集合$\mathbf{C}$称为凸锥。
  也就是说，在凸锥$\mathbf{C}$中任取两个点$x_1,x_2$若有一点$x_3$能与这两个点和原点构成一个平行四边形，$x_3$必然属于$\mathbf{C}$，下图是一个凸锥的例子。

  有凸锥同样也有锥组合，对于凸锥$\mathbf{C}$
$$若：{\theta }_0,\cdots {\theta }_k⩾0,x_1,...,x_k\in \mathbf{C}$$$$有：{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots {\theta }_k{x}_k\in \mathbf{C}$$
  注意我们仅限制$\theta$非负，因此锥组合又叫做非负线性组合。
  同样地也有锥包，定义如下
{ θ 1 x 1 + θ 2 x 2 + ⋯ θ k x k ∣ θ 0 , ⋯ θ k ⩾ 0 , x 1 , . . . , x k ∈ C } \{\theta _1 x_1 + \theta_2x_2+\cdots \theta_kx_k|\theta _0,\cdots \theta _k \geqslant 0,x_1,...,x_k\in \mathbf{C}\} {θ1​x1​+θ2​x2​+⋯θk​xk​∣θ0​,⋯θk​⩾0,x1​,...,xk​∈C}
  他是包含任意集合$\mathbf{C}$的一个最小凸锥。下图是锥包的形象例子。