《凸优化读书笔记》第三篇：凸集进阶之保凸运算、分离与支撑超平面、对偶锥与广义不等式

前言

实际工作中大量的决策问题，如计算广告中的部分机制策略问题、物流行业的路径规划问题甚至机器学习中的优化问题，都可以表示为数学优化问题，或者数学优化问题的变化形式如多目标优化问题。因此，接下来一段时间将会持续更新数学优化中的凸优化问题和整数规划问题相关知识总结
本篇是《凸优化读书笔记》系列的第二篇，主要讲述凸集相关的基本概念以及几种常见的凸集类型

一、相关概念

1.1 仿射集合

1.1.1 仿射集合的概念

零空间：在数学中，一个算子$A$的零空间是方程$Av=0$所有解$v$的集合，也叫做$A$的核空间
仿射集合：如果$C$是一个仿射集合，那它满足：如果$x_1,...,x_k\in C$且${\theta }_1+{\theta }_2+...+{\theta }_k=1$，那么${\theta }_1{x}_1+...+{\theta }_k{x}_k$仍然在集合$C$中
子空间：如果$C$是一个仿射集合且$x_0\in C$，那么集合 V = C − x 0 = { x − x 0 ∣ x ∈ C } V=C-x_{0}=\{x-x_{0}|x \in C\} V=C−x0​={x−x0​∣x∈C}是一个子空间
仿射包：集合$C$中的点的所有仿射组合组成的集合称作$C$的仿射包，记为aff C。仿射包是包含$C$的最小仿射集合

1.1.2 线性方程组的解集

线性方程组的解集 C = { x ∣ A x = b } C=\{x|Ax=b\} C={x∣Ax=b}是一个仿射集合，这个结论很容易证明。设$x_1,x_2\in C$，即$A{x}_1=b,A{x}_2=b$。对于任意$\theta$有：

$$\begin{array}{rl}A(\theta x_1+(1-\theta )x_2)& =\theta A{x}_1+(1-\theta )A{x}_2\\ & =\theta b+(1-\theta )b\\ & =b\end{array}$$

这说明任意的仿射组合$\theta x_1+(1-\theta )x_2$也在集合$C$中，且与仿射集合$C$相关联的子空间就是$A$的零空间
反之任意仿射组合都可以表示为一个线性方程组的解集

1.1.3 仿射维度和相对内部

仿射维数：集合$C$的仿射维数是其仿射包的维数。举个例子说明，$R^2$上的单位圆环 { x ∈ R 2 ∣ x 1 2 + x 2 2 = 1 } \{x \in R^{2}|x_{1}^{2}+x_{2}^{2}=1\} {x∈R2∣x12​+x22​=1}，它的仿射包是全空间$R^2$，所以其仿射维数是2
闭包：当一个集合 S 在某个运算下不闭合的时候，我们通常可以找到包含 S 的最小的闭合集合。这个最小闭合集合被称为 S 的（关于这个运算的）闭包
相对内部：集合$C$的相对内部定义如下：

r e l i n t   C = { x ∈ C ∣ B ( x , r ) ∩ a f f   C } relint {\,} C=\{x \in C|B(x,r) \cap aff {\,} C\} relintC={x∈C∣B(x,r)∩affC}

其中 B ( x , r ) = { y ∣   ∣ ∣ y − x ∣ ∣ ≤ r } B(x,r)=\{y|{\,}||y-x|| \leq r\} B(x,r)={y∣∣∣y−x∣∣≤r}，即半径为r，中心为x并有范数$||.||$定义的球
相对边界：集合$C$的相对边界为$clC/relintC$，其中$clC$是集合C的闭包

1.1.4 三维空间中的相对边界

考虑$R^3$中处于$(x_1,x_2)$平面的一个正方形，即：

C = { x ∈ R 3 ∣ − 1 ≤ x 1 ≤ 1 , − 1 ≤ x 2 ≤ 1 , x 3 = 0 } C=\{x \in R^{3}|-1 \leq x_{1} \leq 1,-1 \leq x_{2} \leq 1, x_{3=0}\} C={x∈R3∣−1≤x1​≤1,−1≤x2​≤1,x3=0​}

其仿射包为$(x_1,x_2)$所在平面，相对内部为：

r e l i n t   C = { x ∈ R 3 ∣ − 1 ≤ x 1 ≤ 1 , − 1 ≤ x 2 ≤ 1 , x 3 = 0 } relint{\,}C=\{x \in R^{3}|-1 \leq x_{1} \leq 1,-1 \leq x_{2} \leq 1, x_{3=0}\} relintC={x∈R3∣−1≤x1​≤1,−1≤x2​≤1,x3=0​}

$C$的边界是其自身，相对边界是其边框：

{ x ∈ R 3 ∣ m a x { ∣ x 1 , ∣ x 2 ∣ } = 1 , x 3 = 0 } \{x \in R^{3}|max\{|x_{1},|x_{2}|\}=1,x_{3=0}\} {x∈R3∣max{∣x1​,∣x2​∣}=1,x3=0​}

1.2 凸集的概念

凸集：如果$C$中任意两点间的线段仍然在$C$中，即对于任意$x_1,x_2\in C$和$0\le \theta \le 1$有：

$$\theta x_1+(1-\theta )x_2\in C$$

那么$C$就是凸集
凸组合：点${\theta }_1{x}_1+...+{\theta }_k{x}_k$为点$x_1,...,x_k$的一个凸组合，其中${\theta }_1+...+{\theta }_k=1$。一个集合是凸集等价于集合包含其中所有点的凸组合
凸包：集合$C$中所有凸组合的集合为其凸包：

c o n v   C = { θ 1 x 1 + . . . + θ k x k ∣ x i ∈ C , θ i > 0 , i = 1 , . . . , k , θ 1 + . . . + θ k = 1 } conv{\,}C=\{\theta_{1}x_{1}+...+\theta_{k}x_{k}|x_{i}\in C,\theta_{i}>0,i=1,...,k,\theta_{1}+...+\theta_{k}=1\} convC={θ1​x1​+...+θk​xk​∣xi​∈C,θi​>0,i=1,...,k,θ1​+...+θk​=1}

凸包总是凸的，它是包含$C$的最小凸集

1.3 锥的概念

锥：如果对于任意$x\in C$和$\theta \ge 0$都有$\theta x\in C$，则集合$C$是锥或非负齐次
凸锥：如果几个$C$是锥，并且是凸的，则它是凸锥
锥组合：具有${\theta }_1{x}_1+...+{\theta }_k{x}_k\ge 0$形式的点称为$x_1,...,x_k$的锥组合。集合$C$是凸锥的重要条件是它包含其元素的所有锥组合
锥包：集合$C$的锥包是$C$中元素所有锥组合的集合，它是包含$C$的最小凸锥

二、几种常见的凸集类型

2.1 超平面与半空间

超平面是具有下面形式的集合：

{ x ∣ a T x = b } \{x|a^{T}x=b\} {x∣aTx=b}

因此，超平面可看作是关于$x$的线性方程的解空间，也是一个仿射集合
一个超平面把$R^n$划分为两个半空间。半空间可看作线性不等式的解空间：

{ x ∣ a T x ≤ b } \{x|a^{T}x \leq b\} {x∣aTx≤b}

半空间是凸的，但不是仿射的

2.2 Euclid球和椭球

Euclid球的公式表达如下：

B ( x c , r ) = { x ∣ ∣ ∣ x − x c ∣ ∣ 2 ≤ r } = { x ∣ ( x − x c ) T ( x − x c ) ≤ r 2 } \begin{aligned} B(x_{c},r)&=\{x|||x-x_{c}||_{2} \leq r\} \\ &=\{x|(x-x{c})^{T}(x-x_{c}) \leq r^{2}\} \end{aligned} B(xc​,r)​={x∣∣∣x−xc​∣∣2​≤r}={x∣(x−xc)T(x−xc​)≤r2}​

它表示由距离球心$x_c$距离不超过$r$的所有点。Euclid球很容易证明是凸集，设有$||x_1-x_c||\le r,||x_2-x_c||\le r,0\le \theta \le 1$，那么：

$$\begin{array}{rl}||\theta x_1+(1-\theta )x_2-x_c|{|}_2& =||\theta (x_1-x_c)+(1-\theta )(x_2-x_c)|{|}_2\\ & \le \theta ||x_1-x_c|{|}_2+(1-\theta )||x_2-x_c|{|}_2\\ & \le r\end{array}$$

与Euclid球相关的是椭球，形式如下：

ξ = { x ∣ ( x − x c ) T P − 1 ( x − x c ) ≤ 1 } \xi=\{x|(x-x_{c})^{T}P^{-1}(x-x_{c}) \leq 1\} ξ={x∣(x−xc​)TP−1(x−xc​)≤1}

其中$P=P^T$是对称正定矩阵，它决定了椭球从$x_c$向各个方向扩展的幅度

2.3 范数球和范数锥

范数球的形式如下：

{ x ∣ ∣ ∣ x − x c ∣ ∣ ≤ r } \{x|||x-x_{c}|| \leq r\} {x∣∣∣x−xc​∣∣≤r}

范数球是凸的
范数锥是集合：

C = { ( x , t ) ∣ ∣ ∣ x ∣ ∣ ≤ t } ⊆ R n + 1 C=\{(x,t)|||x|| \leq t\} \subseteq R^{n+1} C={(x,t)∣∣∣x∣∣≤t}⊆Rn+1

范数锥是凸锥

2.4 多面体

多面体是指有限个线性等式和不等式的解集：

P = { x ∣ a j T x ≤ b j , j = 1 , . . . , m , c j T x = d j , j = 1 , . . . , p } P=\{x|a_{j}^{T}x \leq b_{j},j=1,...,m,c_{j}^{T}x=d_{j},j=1,...,p\} P={x∣ajT​x≤bj​,j=1,...,m,cjT​x=dj​,j=1,...,p}

多面体是有限个半空间和超平面的交集，是凸集，仿射集合、射线、线段和半空间都是多面体
单纯形是一类重要的多面体。设$k+1$个点$v_0,...,v_k\in R^n$仿射独立，也就是$v_1-v_0,...,v_k-v_0$线性独立，这些点决定了一个单纯形：

C = c o n v { v 0 , . . . , v k } = { θ 0 v 0 + . . . + θ k v k ∣ θ 0 + . . . + θ k = 1 , ∀ θ i ≥ 0 } \begin{aligned} C&=conv\{v_{0},...,v_{k}\} \\ &=\{\theta_{0}v_{0}+...+\theta_{k}v_{k}|\theta_{0}+...+\theta_{k}=1,\forall \theta_{i} \geq 0\} \end{aligned} C​=conv{v0​,...,vk​}={θ0​v0​+...+θk​vk​∣θ0​+...+θk​=1,∀θi​≥0}​

这个单纯形的仿射维数是k，也叫做$R^n$空间的k维单纯形。一维单纯形是一条线段，二维单纯形是一个三角形，三维单纯形是一个四面体

2.5 半正定锥

首先用$S^n$表示堆成矩阵的集合：

S n = { X ∈ R n x n ∣ X = X T } S^{n}=\{X \in R^{nxn}|X=X^{T}\} Sn={X∈Rnxn∣X=XT}

用$S_{+}^n$表示对称半正定矩阵的集合：

S + n = { X ∈ S n ∣ X ≥ 0 } S_{+}^{n}=\{X \in S^{n}|X \geq 0\} S+n​={X∈Sn∣X≥0}

集合$S_{+}^n$是一个凸锥：如果${\theta }_1,{\theta }_2\ge 0$并且$A,B\in S_{+}^n$，那么${\theta }_{1}A+{\theta }_{2}B\in S_{+}^n$


关注公众号：老刘聊广告，获取更多知识总结和广告领域前沿算法