仿射 ，仿射集，子空间

学习凸优化的过程中，首先要接触到仿射集与凸集的定义，非常有必要完全理解。

关于锥、凸锥参看另一篇博文：https://blog.csdn.net/robert_chen1988/article/details/78828727

一、仿射集（Affine set），凸集（Convex set）定义

设 $x_1$ 与 $x_2$ 是定义在实数集合 $C$ 中任意两个不同的点，即 $x_1\ne x_2$, 对任意一个实数 $\theta$，都有
$$\theta x_1+(1-\theta )x_2\in Cor{x}_2+\theta (x_1-x_2)\in C$$
则称 $C$ 为一个仿射集。若仅要求 $0\le \theta \le 1$，则 $C$ 为一个凸集。可见一个仿射集必属于凸集，而凸集不一定属于仿射集。（锥跟仿射集并没有隶属关系）

仿射集的定义也可以拓展到多个点的情况，即对于多个点：$x_1,\dots ,x_k$, 以及 ${\theta }_1+\cdots +{\theta }_k=1$，都有

$${\theta }_1{x}_1+\cdots +{\theta }_k{x}_k\in C$$

仿射集与凸集的几何意义是：

• 一个集合为凸集：该集合中任意两点的线段上的点，仍然属于这个集合
• 一个集合为仿射集：该集合中任意两点的连线上的点，仍然属于这个集合

上面的表述中，连线比线段的范围更广，连线是包含该线段的直线：除了包含两点连接在一起的线段，还包括线段外无限延伸的部分。具体，可以结合下面的图片理解。

注：每一个线性方程组 $Ax=b$ 的解为一个仿射集。

为什么称作仿射呢？ 定义 $y=\theta x_1+(1-\theta )x_2$，该表达式可以化为
$$y=x_2+\theta (x_1-x_2)$$
$y$ 可以表示为通过基点 $x_2$，方向为 $x_1-x_2$，大小为 $\theta (x_1-x_2)$ 的一个箭头的末端，如下图所示：

import matplotlib.pyplot as plt
import numpy as np

plt.arrow(2, 3, 4, 8, width = 0.08, color = 'c', length_includes_head = True)

plt.plot(2, 3, 'ro')
plt.annotate('$x_2$', xy = (2.2, 2.8))
plt.plot(5, 9, 'ro')
plt.annotate('$x_1$', xy = (5.2, 8.8))
plt.plot(6, 11, 'ro')
plt.annotate('$y=x_2+\\theta (x_1-x_2), \\theta = 2$', xy = (6.2, 10.8))
plt.xlim((0, 10))
plt.ylim((0, 16))
plt.show()

上面的图片中，若 $0\le \theta \le 1$，$y$ 必定落在 $x_1$ 与 $x_2$ 之间的线段内，若仅要求 $\theta$ 为一个实数，则 $y$ 还可能落在该线段上下无限延伸的直线上。

若 $C$ 是一个仿射集，$x_1$, $\dots$, $x_k\in C$，并且 ${\theta }_1+\cdots +{\theta }_k=1$， 则
$${\theta }_1{x}_1+\cdots +{\theta }_k{x}_k\in C$$
其中，${\theta }_1{x}_1+\cdots +{\theta }_k{x}_k$ 称作点 $x_1,\dots ,x_k$ 的仿射组合。
若要求 ${\theta }_i\ge 0,i=1,\dots ,k$， 则 ${\theta }_1{x}_1+\cdots +{\theta }_k{x}_k$ 称作点 $x_1,\dots ,x_k$ 的凸组合。

二、子空间(Subspace)

子空间一般默认的是线性子空间，定义为：

对于任意两个实数 $a$，$b$ 及向量空间非空子集 $S$ 中的任意两个向量 $\mathbf{x}$, $\mathbf{y}$，都有 $a\mathbf{x}+b\mathbf{y}\in S$，则集合 $S$ 可以称作线性子空间。（$a$, $b$ 可以都是零，所以零向量一定属于子空间; 子空间内任意两个向量的加和，单向量与标量的乘积也在子空间里）

若子空间的维度小于实数集合 ${\mathbb{R}}^n$，则为完美子空间。（${\mathbb{R}}^n$ 是一个向量空间）

还有一个仿射子空间：对于一个仿射集 $C$，及其内部任意一点 $x_0$，集合
V = C − x 0 = { x − x 0 ∣ x ∈ C } V=C-x_0=\{x-x_0\mid x\in C\} V=C−x0​={x−x0​∣x∈C}
属于子空间。

仿射子空间可以视作线性子空间的移动。例如：在一个 n 维向量空间里，经过原点的平面为一个线性子空间，而其他不经过原点的平面为仿射子空间。

下面的性质都是针对子空间：
性质1：一个子空间 $V$ 为仿射集。
性质2：一个子空间 $V$ 为凸锥。
性质3：一个子空间 $V$ 为凸集。

证明：对于 $V$ 中任意两点 $v_1$ 与 $v_2$，它们的线性组合是 $\alpha v_1+\beta v_2$，因为
$$\alpha v_1+\beta v_2+x_0=\alpha (v_1+x_0)+\beta (v_2+x_0)+(1-\alpha -\beta )x_0\in C$$
(因为 $v_1+x_0\in C$, $v_2+x_0\in C$, 以及仿射集的定义)
所以 $\alpha v_1+\beta v_2\in V$，即一个子空间中任意两点的线性组合仍然属于该子空间。
特别的，我们令 $\alpha =1-\beta$，则根据仿射集定义，子空间属于一个仿射集。
特别的，我们令 $\alpha >0,\beta >0$，则根据凸锥的定义，子空间属于一个凸锥。
若我们令 $\alpha =1-\beta ,0\le \alpha \le 1$，则估计凸集定义，子空间属于一个凸集。
$\square$

一条直线是一个仿射集合，一个通过原点的直线属于子空间（证明过程类似上面）
注1：子空间为线性方程组 Ax=0 的解。
注2：若 $x$ 属于子空间，那么 $-x$ 也属于子空间。

三、仿射包（affine hull）

一个集合 $C$ 内所有点的仿射组合，称作该集合的仿射包， 即 aff $C$:
aff  C = { θ 1 x 1 + ⋯ + θ k x k ∣ x 1 , … , x k ∈ C , θ 1 + ⋯ + θ k = 1 } \text{aff}~ C=\{\theta_1x_1+\dots+\theta_kx_k\mid x_1,\dots, x_k\in C, \theta_1+\dots+\theta_k=1\} aff C={θ1​x1​+⋯+θk​xk​∣x1​,…,xk​∈C,θ1​+⋯+θk​=1}