凸优化3:几种重要凸集

1、几种简单的凸集

仿射集	凸集
$R^n$空间、$R^n$空间子空间、直线	任意线段、${x_0+\theta v

2、超平面与半空间

超平面（Hyperplane）: { x ∣ a T x = b } \{x|a^T x=b\} {x∣aTx=b} $x,a\in R^n,b\in R,a\ne 0$

半空间(Halfspace): { x ∣ a T x ≤ b } \{x|a^T x \leq b\} {x∣aTx≤b} $x,a\in R^n,b\in R,a\ne 0$

2、球和椭球

球
球 ： 我 们 所 提 的 球 指 欧 几 里 得 球 ( E u c l i d e a n   b a l l ) B ( x c , r ) = { x ∣ ∣ ∣ x − x c ∣ ∣ 2 ≤ r } = { x ∣ ( x − x c ) T ( x − x c ) ≤ r } 球：我们所提的球指欧几里得球(Euclidean \space ball) \\ B(x_c,r)=\{x \mid ||x-x_c||_2 \leq r\} \\ =\{x \mid \sqrt{{(x-x_c)}^T(x-x_c)} \leq r\} \\ 球：我们所提的球指欧几里得球(Euclidean ball)B(xc​,r)={x∣∣∣x−xc​∣∣2​≤r}={x∣(x−xc​)T(x−xc​) ​≤r}
椭球(ellipsoids)
ε ( x c , p ) = { x ∣ ( x − x c ) T p − 1 ( x − x c ) ≤ 1 } x , x c ∈ R n , P ∈ S + + n P 的 奇 异 值 对 应 椭 球 的 半 周 长 ， S + + n 为 n × n 的 对 称 正 定 矩 阵 \varepsilon(x_c,p)=\{x \mid (x-x_c)^Tp^{-1}(x-x_c) \leq 1\} \\ x,x_c \in R^n, P \in S^n_{++}\\ P的奇异值对应椭球的半周长，S^n_{++}为 n \times n的对称正定矩阵 ε(xc​,p)={x∣(x−xc​)Tp−1(x−xc​)≤1}x,xc​∈Rn,P∈S++n​P的奇异值对应椭球的半周长，S++n​为n×n的对称正定矩阵

3、多面体和单纯形

多面体（Polyhedron）
P = { x ∣ a j T x ≤ b j , j = 1 , . . . , m       c j T x = d j , j = 1 , . . . , r } P=\{x \mid a^T_jx \leq b_j,j=1,...,m\\ \space\space\space\space\ c^T_jx=d_j,j=1,...,r\} P={x∣ajT​x≤bj​,j=1,...,m     cjT​x=dj​,j=1,...,r}
**单纯形（Simplex）**定义较为复杂
R n 空 间 中 选 择 v 0 , . . . , v k 共 k + 1 个 点 ， v 1 − v 0 , . . . , v k − v 0 线 性 无 关 ， 则 与 上 述 点 相 关 的 单 纯 形 为 ： C = c o n v { v 0 , . . . , v k } = { θ 0 v 0 + . . . + θ k v k , θ ≥ 0 , 1 T θ = 1 } , θ ∈ R n R^n空间中选择v_0,...,v_k共k+1个点，\\ v_1-v_0,...,v_k-v_0线性无关，\\ 则与上述点相关的单纯形为：\\ C=conv\{v_0,...,v_k\}=\{\theta_0 v_0+...+\theta_k v_k, \theta \geq 0, 1^T \theta=1\},\theta \in R^n Rn空间中选择v0​,...,vk​共k+1个点，v1​−v0​,...,vk​−v0​线性无关，则与上述点相关的单纯形为：C=conv{v0​,...,vk​}={θ0​v0​+...+θk​vk​,θ≥0,1Tθ=1},θ∈Rn
证明：一个单纯形是一种多面体
$$\begin{gathered} x\in C\in R^n,C为simplex \\ \iff x={\theta }_0{v}_0+...+{\theta }_k{v}_k,1^T\theta =1,\theta \ge 0, \\ {v}_1-v_0,...,v_k-v_0线性无关 \end{gathered}$$

$$\begin{gathered} 定义：y=[{\theta }_1,...,{\theta }_k{]}^T,y_i\ge 0,1^{T}y\le 1 \\ B=[v_1-v_0,...,v_k-v_0{]}^T\in R^{n\times k} \\ x\in C\iff x={\theta }_0{v}_0+...+{\theta }_k{v}_k \\ =v_0+{\theta }_1(v_1-v_0)+...+{\theta }_k(v_k-v_0) \\ =v_0+By \end{gathered}$$

引入如下结论：
$$\begin{gathered} B=[v_1-v_0,...,v_k-v_0]线性无关,故rank(B)=k\le n \\ 对于非奇异矩阵B，一定存在一个矩阵 \\ A=\left[\begin{array}{c}{I}_k\\ 0\end{array}\right]\in \left[\begin{array}{c}{R}^{k\times k}\\ 0^{(n-k)\times k}\end{array}\right] \\ 使得AB=\left[\begin{array}{c}{A}_1\\ A_2\end{array}\right]B=\left[\begin{array}{c}{I}_k\\ 0\end{array}\right] \end{gathered}$$
则对于前面得到的等式我们可以做如下变换：
$$\begin{gathered} x=v_0+By \\ \Rightarrow Ax=A{v}_0+ABy \\ \iff \left[\begin{array}{c}{A}_1\\ A_2\end{array}\right]x=\left[\begin{array}{c}{A}_1\\ A_2\end{array}\right]v_0+\left[\begin{array}{c}{A}_{1}B\\ A_{2}B\end{array}\right]y \\ \iff \{\begin{array}{c}{A}_{1}x=A_1{v}_0+y\\ A_{2}x=A_2{v}_0\end{array} \\ \iff \{\begin{array}{c}{A}_{1}x\ge A_1{v}_0\\ 1^T{A}_{1}x\le 1+1^T{A}_1{v}_0\\ A_{2}x=A_2{v}_0\end{array} \\ \Rightarrow 由不等式和等式构成，是多面体 \end{gathered}$$

4、一些对称矩阵

对称矩阵集合 S n = { x ∈ R n × n ∣ x = x T } S^n=\{x \in R^{n \times n} \mid x=x^T\} Sn={x∈Rn×n∣x=xT}

对称半正定矩阵集合 S + n = { x ∈ R n × n ∣ x = x T , x ⪰ 0 } S^n_+=\{x \in R^{n \times n} \mid x=x^T,x \succeq 0\} S+n​={x∈Rn×n∣x=xT,x⪰0}

对称正定矩阵集合 S + + n = { x ∈ R n × n ∣ x = x T , x ≻ 0 } S^n_{++}=\{x \in R^{n \times n} \mid x=x^T, x \succ 0\} S++n​={x∈Rn×n∣x=xT,x≻0}

证明：$S_{+}^n$是$ConvexCone$，即：
$$\forall {\theta }_1,{\theta }_2\ge 0,\forall A,B\in S_{+}^n,证明{\theta }_{1}A+{\theta }_{2}B\in S_{+}^n$$
证：
$$\begin{gathered} \forall x\in R^n,x\ne 0,x^{T}Ax\ge 0,x^{T}Bx\ge 0 \\ {x}^T({\theta }_{1}A+{\theta }_{2}B)x={\theta }_1{x}^{T}Ax+{\theta }_2{x}^{T}Bx\ge 0\Rightarrow 正定得证 \\ ({\theta }_{1}A+{\theta }_{2}B{)}^T=({\theta }_1{A}^T+{\theta }_2{B}^T)=({\theta }_{1}A+{\theta }_{2}B)\Rightarrow 对称得证 \\ 故：{\theta }_{1}A+{\theta }_{2}B\in S_{+}^n \end{gathered}$$
$S_{++}^n$不是$ConvexCone$,是凸集
$$\begin{gathered} \forall x\in R^n,x\ne 0,x^{T}Ax\ge 0,x^{T}Bx\ge 0 \\ {x}^T({\theta }_{1}A+{\theta }_{2}B)x={\theta }_1{x}^{T}Ax+{\theta }_2{x}^{T}Bx\ngtr 0 \\ 因为{\theta }_1,{\theta }_2=0时{\theta }_1{x}^{T}Ax+{\theta }_2{x}^{T}Bx=0，不符合凸锥定义 \end{gathered}$$