凸优化基础学习——凸集

凸优化基础学习——凸集

文章内容全部来自对Stephen Boyd and Lieven vandenberghe的Convex Optimization的总结归纳。

电子书资源：

链接：https://pan.baidu.com/s/1dP5zI6h3BEyGRzSaJHSodg?pwd=0000
提取码：0000

基本概念

仿射集合

**仿射集合：**通过集合$C\subseteq {\mathbf{R}}^n$中任意两个不同点的直线仍然在集合$C$中，则称集合$C$是仿射的。

另一种等价定义：对于任意$x_1,x_2\in C$及$\theta \in \mathbf{R}$有$\theta x_1+\left(1-\theta \right)x_2\in C$，即$C$中包含了$C$中任意两点的系数之和为1的线性组合。

**仿射组合：**仿射集合的概念可以扩展到多个点的情况，如果${\theta }_1+\cdots +{\theta }_k=1$，那么具有${\theta }_1{x}_1+\cdots +{\theta }_k{x}_1=1$形式的点为$x_1,\cdots ,x_k$的仿射组合。

**仿射包：**集合$C\subseteq {\mathbf{R}}^n$中的点的所有仿射组合组成的集合为$C$的仿射包，记作$\mathbf{aff}C:$

**仿射维数：**定义集合$C$的仿射维数为其仿射包的维数。
a f f C = { θ 1 x 1 + ⋯ + θ k x k ∣ x 1 , ⋯   , x k ∈ C , θ 1 + ⋯ + θ k = 1 } \mathbf{aff}C=\{\theta_1x_1+\cdots+\theta_kx_k|x_1,\cdots,x_k\in C,\theta_1+\cdots+\theta_k=1\} affC={θ1​x1​+⋯+θk​xk​∣x1​,⋯,xk​∈C,θ1​+⋯+θk​=1}
性质：

1. 仿射集合$C$可以表示成

$$C=V+x_0=v+x_0|v\in V$$

其中$C$是一个子空间，并且关于加法和数乘是封闭的。$x_0$是$C$中任意一点。**仿射集合$C$**的维数定义为子空间$V=C-x_0$的维度。

2. 一个仿射集合包含其中任意点的仿射组合，即如果$C$是一个仿射集合，$x_1,\cdots ,x_k\in C$，并且${\theta }_1+\cdots +{\theta }_k=1$，那么${\theta }_1{x}_1+\cdots +{\theta }_k{x}_k$仍然在$C$中。
3. 仿射包是包含$C$的最小仿射集合。

常见例子

1. 线性方程组 C = { x ∣ A x = b } C=\{x|Ax=b\} C={x∣Ax=b}的解集是一个仿射集合，其子空间就是$A$的零空间。同时任意仿射集合可以表示成一个线性方程组的解集。

凸集

**凸集：**如果$C$中任意两点间的线段仍然在$C$中，及对于任意$x_1,x_2\in C$和满足$0\le \theta \le 1$的$\theta$都有
$$\theta x_1+(1-\theta )x_2\in C$$
或者说如果集合中的每一个点都可以被其他的点沿着它们之间的一条无阻碍(整条路径都在集合中)的路径看见，那么这个集合就被称为凸集。

**凸组合：**称${\theta }_1{x}_1+\cdots +{\theta }_k{x}_1$为点$x_1,\cdots ,x_k$的一个凸组合，其中${\theta }_1+\cdots +{\theta }_k=1$并且${\theta }_i\ge 0,i=1,\cdots ,k。$

**凸包：**集合$C$中所有点构成的凸组合的集合为其凸包，记为$\text{conv}C:$
conv C = { θ 1 x 1 + ⋯ + θ k x k ∣ x i ∈ C , θ i ≥ 0 , i = 1 , ⋯   , k , θ 1 + ⋯ + θ k = 1 } \text{\textbf{conv}}C=\{\theta_1x_1+\cdots+\theta_kx_k|x_i\in C,\theta_i\ge0,i=1,\cdots,k,\theta_1+\cdots+\theta_k=1\} convC={θ1​x1​+⋯+θk​xk​∣xi​∈C,θi​≥0,i=1,⋯,k,θ1​+⋯+θk​=1}
性质：

1. 仿射集是凸集。
2. 一个集合的凸集等价于集合中包含了其中所有点的凸组合，可以理解为混合和加权平均。
3. 凸包是包含集合$C$的最小凸集，即有如果$B$是包含$C$的凸集，那么$\text{conv}C\subseteq B$。

锥

**锥：**如果对于任意$x\in C$和$\theta \ge 0$都有$\theta x\in C$，那么我们就称集合$C$是锥或者说是非负齐次的。

**凸锥：**对于任意$x_1,x_2\in C$和${\theta }_1，{\theta }_2\ge 0,都有$
$${\theta }_1{x}_1+{\theta }_2{x}_2\in C$$
具有这类形式的点构成了二维的扇形

**锥组合（非负线性组合）：**具有${\theta }_1{x}_1+\cdots +{\theta }_k{x}_1,{\theta }_1,\cdots ,{\theta }_k\ge 0$形式的点称为$x_1,\cdots ,x_k$的锥组合。

**锥包：**集合$C$中元素的所有锥组合的集合，即
{ θ 1 x 1 + ⋯ + θ k x k ∣ x i ∈ C , θ i ≥ 0 , i = 1 , ⋯   , k } \{\theta_1x_1+\cdots+\theta_kx_k|x_i\in C,\theta_i\ge0,i=1,\cdots,k\} {θ1​x1​+⋯+θk​xk​∣xi​∈C,θi​≥0,i=1,⋯,k}
性质

1. 如果$x_i$均属于凸锥$C$，那么$x_i$的每一个锥组合也在$C$中。即集合$C$是凸锥的充分必要条件是它包含其元素的所有锥组合。

2. 锥包是包含$C$的最小的凸锥。左图代表由点组成的一个集合$C$的凸锥，右图代表由一块连续的区域组成的集合$C$的凸锥。

常见例子

简单例子

1. 任意直线都是仿射的。如果直线通过零点，则是子空间，因此，也是凸锥。

2. 一个线段是凸的，但不是仿射的（除非退化为一个点）。

3. 空集、任意一个点、全空间${\mathbf{R}}^n$都是${\mathbf{R}}^n$的仿射（自然也是凸的）子集。

4. 一条射线，既具有形式 { x 0 + θ v ∣ θ ≥ 0 } , v ≠ 0 \{x_0+\theta v|\theta\ge0\},v\neq0 {x0​+θv∣θ≥0},v=0的集合，是凸的但不是仿射的。如果射线的基点$x_0$是0，则它是凸锥。

5. 任意子空间是仿射的、凸锥。

超平面和半空间

**超平面：**具有以下形式的集合称为超平面
{ x ∣ a T x = b } \{x|a^Tx=b\} {x∣aTx=b}
其中$a\in {\mathbf{R}}^n,a\ne 0$并且$b\in \mathbf{R}$。显然超平面为关于$x$的非平凡线性方程的解空间，因此其是一个仿射集合（当然也是凸集了）。

在几何上，超平面可以看作是和给定向量$a$的内积为常数的点的集合；也可以看作是法线方向为$a$的超平面，而常数$b\in \mathbf{R}$决定了这个平面的偏移量。如下图所示

**半空间：**具有以下形式的集合称为半空间，其中$a\ne 0$，半空间是凸的，但不是仿射的。
{ x ∣ a T x ≤ b } \{x|a^Tx\le b\} {x∣aTx≤b}

**开半空间：**开半空间是半空间的内部，即具有以下形式的集合
{ x ∣ a T x < b } \{x|a^Tx< b\} {x∣aTx<b}

Euclid球和椭球

Euclid球：${\mathbf{R}}^n$中的Euclid球具有下面的形式，利用范数的三角不等式和齐次性可以证明它是凸集。
B ( x c , r ) = { x ∣ ∥ x − x c ∥ 2 ⩽ r } = { x ∣ ( x − x c ) T ( x − x c ) ⩽ r 2 } B\left(x_c, r\right)=\left\{x \mid\left\|x-x_c\right\|_2 \leqslant r\right\}=\left\{x \mid\left(x-x_c\right)^T\left(x-x_c\right) \leqslant r^2\right\} B(xc​,r)={x∣∥x−xc​∥2​⩽r}={x∣(x−xc​)T(x−xc​)⩽r2}
其中$r>0$，${\Vert \Vert }_2$表示Euclid范数，$x_c$表示球心，标量$r$为半径。$B\left(x_c,r\right)$为距离圆心$x_c$距离不超过$r$的所有点组成。

Euclid球的另外一种表达式如下
B ( x c , r ) = { x c + r u ∣ ∥ u ∥ 2 ⩽ 1 } B\left(x_c, r\right)=\left\{x_c+r u \mid\|u\|_2 \leqslant 1\right\} B(xc​,r)={xc​+ru∣∥u∥2​⩽1}
**椭球：**具有以下形式的集合称为椭球，其同样为凸集
$$\mathcal{E}=\left\{x\mid {\left(x-x_c\right)}^T{P}^{-1}\left(x-x_c\right)⩽1\right\}$$
其中，$P=P^T\succ 0$，即$P$为对称的正定矩阵。$x_c$为椭圆中心，矩阵$P$决定了椭球从$x_c$向各个方向扩展的幅度。$\mathcal{E}$的半轴长度由$\sqrt{{\lambda }_i}$决定，其中${\lambda }_i$为$P$的特征值。

椭球的另外一个表示形式为
E = { x c + A u ∣ ∥ u ∥ 2 ⩽ 1 } \mathcal{E}=\left\{x_c+A u \mid\|u\|_2 \leqslant 1\right\} E={xc​+Au∣∥u∥2​⩽1}

范数球和范数锥

**范数球：**定义如下，由范数的一般性质可以知道其为凸的
$$C=\{(x,t)\mid \Vert x\Vert ⩽t\}\subseteq {\mathbf{R}}^{n+1}$$
**范数锥：**关于范数$\Vert \Vert$的范数锥是集合，其为一个凸锥
$$C=\{(x,t)\mid \Vert x\Vert ⩽t\}\subseteq {\mathbf{R}}^{n+1}$$
**二阶锥：**由Euclid范数定义的范数锥称为范数锥，也可以称为二次锥、Lorentz锥或者冰淇淋锥。
$$\begin{array}{rl}C& =\left\{(x,t)\in {\mathbf{R}}^{n+1}\mid \Vert x{\Vert }_2⩽t\right\}\\ & =\left\{\left[\begin{array}{l}x\\ t\end{array}\right]\mid {\left[\begin{array}{l}x\\ t\end{array}\right]}^T\left[\begin{array}{cc}I& 0\\ 0& -1\end{array}\right]\left[\begin{array}{l}x\\ t\end{array}\right]⩽0,t⩾0\right\}\end{array}$$
下图是一个${\mathbf{R}}^3$的二阶锥

多面体

**多面体：**定义为有限个线性等式和不等式的解集：
$$\mathcal{P}=\left\{x\mid a_j^{T}x⩽b_j,j=1,\cdots ,m,c_j^{T}x=d_j,j=1,\cdots ,p\right\}$$
其为有限个半空间和超平面的交集，下图为五个半空间组成的一个多面体示意图。

多面体也可以写成如下更为紧凑的形式：
P = { x ∣ A x ⪯ b , C x = d } A = [ a 1 T ⋮ a m T ] , C = [ c 1 T ⋮ c p T ] , \begin{gathered} \mathcal{P}=\{x \mid A x \preceq b, C x=d\} \\ A=\left[\begin{array}{c} a_1^T \\ \vdots \\ a_m^T \end{array}\right], \quad C=\left[\begin{array}{c} c_1^T \\ \vdots \\ c_p^T \end{array}\right], \end{gathered} P={x∣Ax⪯b,Cx=d}A= ​a1T​⋮amT​​ ​,C= ​c1T​⋮cpT​​ ​,​
其中$⪯$表示${\mathbf{R}}^m$上的向量不等式或分量不等式。

半正定锥

**半正定锥：**利用${\mathbf{S}}^n$表示对称$n\times n$矩阵的集合，${\mathbf{S}}_{+}^n$表示对称半正定矩阵的集合，${\mathbf{S}}_{++}^n$表示对称正定矩阵的集合，即
S n = { X ∈ R n × n ∣ X = X T } S + n = { X ∈ S n ∣ X ⪰ 0 } S + + n = { X ∈ S n ∣ X ≻ 0 } \begin{aligned} & \mathbf{S}^n=\left\{X \in \mathbf{R}^{n \times n} \mid X=X^T\right\} \\ & \mathbf{S}_{+}^n=\left\{X \in \mathbf{S}^n \mid X \succeq 0\right\} \\ & \mathbf{S}_{++}^n=\left\{X \in \mathbf{S}^n \mid X \succ 0\right\} \end{aligned} ​Sn={X∈Rn×n∣X=XT}S+n​={X∈Sn∣X⪰0}S++n​={X∈Sn∣X≻0}​
其中集合${\mathbf{S}}_{+}^n$为一个凸锥。

保凸运算

保凸运算可以从已知的凸集构造出其他凸集，能够用来确定和构建具有凸性的集合。

交集

凸集的交集运算是保凸的：如果$S_1$和$S_2$是凸集，那么$S_1\cap S_2$也是凸集，这个性质也能够扩展到无穷多个集合的交。

仿射函数

**仿射函数：**如果一个函数是一个线性函数和一个常数的和，即具有$f(x)=Ax+b$的形式，其中$A\in {\mathbf{R}}^{\mathbf{m}\times \mathbf{n}},b\subseteq {\mathbf{R}}^{\mathbf{m}}$。

如果$S\subseteq {\mathbf{R}}^n$是凸的，并且$f:{\mathbf{R}}^{\mathbf{n}}\to {\mathbf{R}}^{\mathbf{m}}$是仿射函数。那么，$S$在$f$下的象
f ( S ) = { f ( x ) ∣ x ∈ S } f(S)=\{f(x)\mid x\in S\} f(S)={f(x)∣x∈S}
也是凸的。同样类似的，如果$f:{\mathbf{R}}^{\mathbf{k}}\to {\mathbf{R}}^{\mathbf{n}}$是仿射函数，那么$S$在$f$下的原象
f − 1 ( S ) = { x ∣ f ( x ) ∈ S } f^{-1}(S)=\{x\mid f(x)\in S\} f−1(S)={x∣f(x)∈S}
也是凸的。

例子

1. 伸缩与平移：如果$S\subseteq {\mathbf{R}}^n$，$\alpha \in \mathbf{R}$并且$a\in {\mathbf{R}}^{\mathbf{n}}$，那么，集合$\alpha S$和集合$S+a$是凸的。
2. 直积：如果$S_1$和$S_2$都是凸集，那么其直积也是凸集，其直积可以表示为

S 1 × S 2 = { ( x 1 , x 2 ) ∣ x 1 ∈ S 1 , x 2 ∈ S 2 } S_{1} \times S_{2}=\left\{\left(x_{1}, x_{2}\right) \mid x_{1} \in S_{1}, x_{2} \in S_{2}\right\} S1​×S2​={(x1​,x2​)∣x1​∈S1​,x2​∈S2​}

线性分式和透视函数

**透视函数：**定义$P:{\mathbf{R}}^{\mathbf{n}+1}\to {\mathbf{R}}^{\mathbf{n}}$，$P(z,t)=z/t$为透视函数，其定义域为$\text{dom}P={\mathbf{R}}^{\mathbf{n}}\times {\mathbf{R}}_{++}$。其中${\mathbf{R}}_{++}$表示正实数集合。透视函数对向量进行伸缩，或者称为规范化，使得最后一维分量为1并且舍弃掉。

**性质：**如果$C\subseteq \text{dom}P$是凸集，那么他的象
P ( C ) = { P ( x ) ∣ x ∈ C } P(C)=\{P(x)\mid x \in C \} P(C)={P(x)∣x∈C}
也是凸集。同样一个凸集在透视函数的原象也是凸的。

**线性分式函数：**线性分式函数由透视函数和仿射函数符合而成。设$g:{\mathbf{R}}^{\mathbf{n}}\to {\mathbf{R}}^{\mathbf{m}+1}$是仿射的，即
$$g(x)=\left[\begin{array}{c}A\\ c^T\end{array}\right]x+\left[\begin{array}{l}b\\ d\end{array}\right]$$
其中$A\in {\mathbf{R}}^{\mathbf{m}\times \mathbf{n}}，b\in {\mathbf{R}}^{\mathbf{m}}，c\in {\mathbf{R}}^{\mathbf{n}}$并且$d\in \mathbf{R}$。则由$f=P \circ g $给出的函数$f:\mathbf{R^{n}\rightarrow\mathbf{R}m}$
$$f(x)=(Ax+b)/\left(c^{T}x+d\right),\mathrm{dom}f=\left\{x\mid c^{T}x+d>0\right\}$$
称为线性分式（或者投射）函数。值得注意的是如果$c=0,d>0$，则$f$的定义域为${\mathbf{R}}^n$，并且$f$是仿射函数。因此，我饿们可以将仿射和线性函数视为特殊的线性分式函数。

**性质：**类似于透视函数，线性分式函数也是保凸的。如果$C$是凸集，那么其在线性分式函数下的象和原象都是凸的。

广义不等式

正常锥和广义不等式

**正常锥：**满足以下条件的锥$K\subseteq {\mathbf{R}}^n$为正常锥

• $K$是凸的
• $K$是闭的
• $K$是实的，即具有非空内部
• $K$是尖的，即不包含直线（或者等价地，$x\in K，-x\in K\Rightarrow x=0$）

正常锥常用来定义广义不等式。用正常锥$K$可以定义${\mathbf{R}}^{\mathbf{n}}$上的偏序关系如下
$$x{⪯}_{K}y⟺y-x\in K$$
同样，可以定义相应的严格偏序关系
$$x{\prec }_{K}y⟺y-x\in \text{int}K$$
广义不等式$⪯$的性质

• ${⪯}_K$对于加法是保序的：如果$x{⪯}_{K}y$并且$u{⪯}_{K}v$，那么$x+u{⪯}_{K}y+v$。
• ${⪯}_K$具有传递性：如果$x{⪯}_{K}y$并且$y{⪯}_{K}z$，那么$x{⪯}_{K}z$。
• ${⪯}_K$对于非负数乘是保序的：如果$x{⪯}_{K}y$并且$\alpha \ge 0$，那么$\alpha x{⪯}_K\alpha y$。
• ${⪯}_K$是自反的：$x{⪯}_{K}x$。
• ${⪯}_K$是反对称的：如果$x{⪯}_{K}y$并且$y{⪯}_{K}x$，那么$x=y$。
• ${⪯}_K$对于极限运算是保序的：如果对于$i=1,2,\cdots$均有$x_i{⪯}_K{y}_i$，当$i\to \infty$时，由$x_i\to x$和$y_i\to y$，那么$x{⪯}_{K}y$。

最小和极小元

**最小元：**对于每个$y\in S$，均有$x{⪯}_{K}y$$，则称x\in S$是$S$（关于广义不等式${⪯}_K$）的最小元。

**最大元：**对于每个$y\in S$，均有$x{⪰}_{K}y$$，则称x\in S$是$S$（关于广义不等式${⪯}_K$）的最大元。

**极小元：**如果$y\in S，y{⪯}_{K}x$可以推得$y=x$，那么我们称$x\in S$是$S$上（关于广义不等式${⪯}_K$）的极小元。

极大元：如果$y\in S，y{⪰}_{K}x$可以推得$y=x$，那么我们称$x\in S$是$S$上（关于广义不等式${⪯}_K$）的极大元。

分离与支撑超平面

**超平面分离定理：**假设$C$和$D$是两个不相交的凸集，即$C\cap D=\oslash$，那么存在$a\ne 0$和$b$使得超平面 { x ∣ a T x = b } \{x\mid a^Tx=b\} {x∣aTx=b}能够将两个凸集分离。如下图所示。

**支撑超平面：**设$C\subseteq {\mathbf{R}}^n$而$x_0$为其边界一点，如果$a\ne 0$，并且对于任意$x\in C$满足$a^{T}x\le a^T{x}_0$，那么称超平面 { x ∣ a T x = a T x 0 } \{x\mid a^Tx= a^Tx_0\} {x∣aTx=aTx0​} 为集合$C$在点$x_0$处的支撑超平面。在几何上表示为超平面 { x ∣ a T x = a T x 0 } \{x\mid a^Tx= a^Tx_0\} {x∣aTx=aTx0​}与$C$相切于点$x_0$，如下图所示：

对偶锥和广义不等式

对偶锥：$K$为一个锥，集合
$$

$$
称为$K$的对偶锥。$K^{\ast }$总是一个凸锥，即使$K$不是凸锥。从几何上看，$y\in K^{\ast }$当且仅当$-y$是$K$在原点的一个支撑超平面的法线，如下图所示：

性质

• $K^{\ast }$是闭凸锥。

• $K_1\subseteq K_2$可以导出$K_2^{\ast }\subseteq K_1^{\ast }$。

• 如果$K$由非空内部，那么$K^{\ast }$是尖的（不含直线）。

• 如果$K$的闭包是尖的，那么$K^{\ast }$有非空内部。

• $K^{\ast \ast }$是$K$的凸包的闭包。（因此，如果$K$是凸和闭得，则$K^{\ast \ast }=K$）。

• 如果$K$是一个正常锥，那么它的对偶$K^{\ast }$也是，进一步将，$K^{\ast \ast }=K$。

不是凸锥。从几何上看，$y\in K^{\ast }$当且仅当$-y$是$K$在原点的一个支撑超平面的法线，如下图所示：

[外链图片转存中…(img-iMHjGdPV-1692066222841)]

性质

• $K^{\ast }$是闭凸锥。

• $K_1\subseteq K_2$可以导出$K_2^{\ast }\subseteq K_1^{\ast }$。

• 如果$K$由非空内部，那么$K^{\ast }$是尖的（不含直线）。

• 如果$K$的闭包是尖的，那么$K^{\ast }$有非空内部。

• $K^{\ast \ast }$是$K$的凸包的闭包。（因此，如果$K$是凸和闭得，则$K^{\ast \ast }=K$）。

• 如果$K$是一个正常锥，那么它的对偶$K^{\ast }$也是，进一步将，$K^{\ast \ast }=K$。