Convex optimization 1 --- convex set

1 Introduction

凸优化在工程领域发挥着重要作用，这个系列根据standford EE364a 的convex optimization 课程，进行梳理总结。

2 优化问题

2.1 常见的优化问题

2.1.1 决策类的优化问题

设定目标，考虑限制，给出决策。

2.1.2 模型参数辨识

选定模型，带入数据，计算系数。
此时目标是降低模型的预测误差，参数必须在合理的区间，给出最小的参数。

2.2 数学抽象

构建工程的最优化问题，constraints一般比较容易构建，如何选定object 函数非常关键。

2.3 优化问题的解法

线性问题比较容易得到解答，对于优化问题同样。

具体的案例，控制每个光源的强度，使得镜面的光源强度和设定值的差值最小。

o点的光源强度为：

镜面的光源强度的最大误差为：

光源强度的物理限制为：

目标函数可以表示成
$$\begin{array}{rl}{f}_o(x)=& ma{x}_{k=1,..n}|I_k-I_{des}|\\ =& ma{x}_{k=1,..n}|\sum a_{kj}{p}_j-I_{des}|\end{array}$$
形式和线性规划比较接近，但是具体如何转换，需要进一步学习。

3 convex set

3.1 convex optimization problem

如果可行的解集是一个convex set，解决这样的优化问题，一般比较简单。


需要研究convex set的特性，帮助我们分辨问题是否是convex optimization问题，以及将问题转换成convex optimization的问题。

3.2 convex set的定义

$在进入各种集合定义之前，一定要记住，set是特殊的一类向量组成。$

3.2.1 affine set

通过affine set 定义线段、射线和直线。

3.2.2 convex set

convex set的数学定义和几何直觉容易理解。

3.3 与convex set类似的集合

3.3.1 有限范围集合convex hull

有convex set必然就会有不是convex set的集合，将不是convex set的集合，转换成convex hull(convex hull 也是convex set)。

• 球集合
  
  

• 椭圆集合
  从几何的角度,向量$x-x_c$先转换到特征向量组成的向量空间中，然后在相应的特征向量方向，除以特征值，经过这样处理后的向量点积就是1。
  
  

3.3.2 平面无限大集合

$我们从三维空间的角度去理解下面各种集合。$

• convex cone
  convex cone范围是无穷大的，构成一个扇形区域，同时也是convex set。
  
  

3.3.3 空间无限大集合

$我们从三维空间的角度去理解下面各种集合。$

• half plane
  $a^{T}x=b$定义了一个平面，也是空间的分界面。
  
• norm cone
  
  
• Polyhedra
  数学定义，几个平面相交构成的空间。
  
  以下面这个图为例，
  $$\left[\begin{array}{cc}1& 1\\ -1& 1\\ -1& -1\\ 1& -1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]⪯\left[\begin{array}{c}2\\ 2\\ 2\\ 2\end{array}\right]$$
  需要注意的是，以集合中点(1, 1)为例，
  $$Ax=\left[\begin{array}{c}2\le 2\\ 0\le 2\\ -2\le 2\\ 0\le 2\end{array}\right]⪯\left[\begin{array}{c}2\\ 2\\ 2\\ 28\end{array}\right]$$
  

3.3.4 高维空间

• 半正定锥
  s n = { X ∈ R n × n ∣ X = X T } s^n=\{X \in R^{n\times n} | X=X^T \} sn={X∈Rn×n∣X=XT}
  例如
  $$X=\left[\begin{array}{cc}x& y\\ y& z\end{array}\right]\in S_{+}^2$$
  是个维数为3的向量空间，其中满足$x\ge 0,z\ge 0,xz\ge y^2$,几何图像如下：
  

3.4 凸性不变的操作

3.4.1 交集

从集合的角度，凸集的交集是凸集，非常容易理解。

• example1
  
  x是高维空间中的变量，p(t)并不容易用集合的方式画出图。为了从几何上理解更加方便，假定m=2，
  $p(t)=x_{1}cos(t)+x_{2}cos(2t)$
  
  发现(x1,x2)的集合并不能用集合的方式画出来，利用定义进行判断也非常的困难。
  但是我们知道，$t_i\in [-\frac{\pi }{3},\frac{\pi }{3}]$每个点都满足
  $$-1\le \left[\begin{array}{cc}cos(t_i)& cos(2t_i)\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\le 1$$
  这是一个典型的Polyhedra，所以是凸集。
  $(x_1,x_2)$的集合对所有的$t_i$都满足上面的关系，所以
  $$S=\underset{t_i\in [-\frac{\pi }{3},\frac{\pi }{3}]}{\cap }||(cos(t_i),cos(2t_i){)}^{T}x||\le 1$$
  凸集的交集还是凸集，所以$(x_1,x_2)$的集合是凸集。

3.4.2 仿射变换

仿射变换
$$f(\vec{x})=A\vec{x}+\vec{b}$$
其中，$x\in R^n,A\in R^{m\times n},b\in R^m$。
因为仿射变换属于线性变换，并不会改变集合的凸性。

3.4.3 线性分式和透视函数

• 透视函数
  
  小孔成像问题中，
  $（R^3中的）$将实际位置点通过小孔投影在镜面上，镜面的图像时$R^2$。
  镜面点的坐标$（-\frac{x_1}{x_3},-\frac{x_2}{x_3}）$,这就是我们的透视函数。
  
  通过透视，降维的操作时保凸的。

• 线性分式
  
  其中，$A\in R^{n\times m},b\in R^m,c\in R^n,d\in R$。
  线性分式，可以看成是放射变换和透视变换的叠加，所以自然也是保凸的。
  
  经过整理后，
  $$f(x)=\frac{Ix}{[1,1{]}^{T}x+1}$$

4 广义不等式

4.1 正常锥

通过正常锥，推广出广义不等式。
下面三个条件的convex cone就是proper cone。

典型的几个proper cone:
1)非负象限，没有boundary，不知道为啥符合条件1；

2）非负的多项式锥

以二维多项式锥为例：

4.2 广义不等式定义及性质

4.2.1 广义不等式定义

通过正常锥，定义广义不等式。

example1:
x、y必须是同一纬度的，但是分属不同的集合，每个纬度上满足$x_i\le y_i$

4.2.2 广义不等式性质

广义不等式的性质和普通不等式的性质类似
1）对于加法是保序的：
$$ifx{⪯}_{K}y,并且u{⪯}_{K}v,那么x+u{⪯}_{K}y+v.$$
2)具有传递性：
$$ifx{⪯}_{K}y,并且y{⪯}_{K}z,那么x{⪯}_{K}z.$$
3)对于非负数乘是保序的：
$$ifx{⪯}_{K}y,并且\alpha \ge 0,那么\alpha x{⪯}_K\alpha y.$$
4)自反的：
$$x{⪯}_{K}x$$
5)反对称的：
$$ifx{⪯}_{K}y,并且y{⪯}_{K}x,那么x{⪯}_{K}y.$$

4.2.3 最小与极小元

集合最小与极小元判断的时候则有很大的不同，先看定义。
$$\begin{gathered} 对于每个y\in S，均有x{⪯}_K,我们称x\in S(关于广义不等式{⪯}_K)的最小元，它是唯一的。 \\ 如果x是不是唯一的，则称x\in S是S上（关于广义不等式{⪯}_K）的极小元。 \end{gathered}$$
example1:判断集合$S_1$中的极小元。
这是一个二维集合，如果如果$(x_1\le x_i,y_1\le y_i)$那么$x_1$是极小元。写成广义不等式的形式：
$$对于每个y_i\in S_1,均有x{⪯}_{K}y,其中K=R_{+}^n$$
本题中，$\vec{a}\in K,满足广义不等式。$

example2:
同样的，这道题中的$K\in R_{+}^n$,对于$x_2$,向量$\vec{a}$并不在K中，所以$x_2$是极小值。
对于$x_3$，因为b在K中，所以$x_3$不是极小值。

5 分离与支撑超平面

5.1 超平面分离定理

几何直觉上很容易理解，先找到两个凸集的最近点，然后找到中点，确定法线，就定出了超平面。

5.2 支撑超平面

进入支撑超平面的概念之前，先回顾超平面的概念。

下面红色的超平面 { y ∣ a T y = a T x 0 } \{y|a^Ty=a^Tx_0 \} {y∣aTy=aTx0​}为集合C在点$x_0$处的支撑超平面。
对于任意的C上的点$x_i$，有$a^T{x}_i\le a^T{x}_0$，即集合C上的点都在支撑超平面下方。

6 对偶锥与广义不等式

6.1 对偶锥定义

令K为一个锥，集合
K ∗ = { y ∣ x T y ≥ 0 , V x ∈ K } K*=\{ y|x^Ty\geq 0, Vx \in K \} K∗={y∣xTy≥0,Vx∈K}
称为K的对偶锥。
K是法线的集合，根据定义下面是一个典型的对偶锥。简易判断的方法是，法线对应的超平面，是否可以包络原集合K。

根据上面的图，即使原集合K不是凸集，对偶锥仍然是凸锥。对偶锥具有下列的性质
1）K是闭凸锥；
2）$K_1\subseteq K_2,则K_2^{\ast }\subseteq K_1^{\ast }$;
3) 如果K有非空内部，那么K是尖的；
4）如果K的闭包是尖的，那么K有非空内部；
5）K** 是K的凸包的闭包；

6.2 广义不等式的对偶

称广义不等式$⪯K^{\ast }$为广义不等式$⪯K$的对偶，具有下列性质
1)$x{⪯}_{k}y,当且仅当任意\lambda {⪰}_{k^{\ast }}0,有{\lambda }^{T}x<{\lambda }^{T}y$

• 最小元的对偶性质
  根据广义不等式对偶的性质，x是S上关于广义不等式$⪯K$的最小元的充要条件是，对于所有$\lambda {\succ }_{K^{\ast }}0$,x是在$z\in S$上极小化${\lambda }^{T}z$的唯一最优解。
  从 几 何 上 看 ， 对 于 任 意 λ ≻ K ∗ 0 ， 超 平 面 { z ∣ λ T ( z − x ) = 0 } 是 在 x 处 对 S 的 一 个 严 格 支 撑 超 平 面 。 \color{red}{从几何上看，对于任意\lambda \succ_{K^*} 0，超平面\{ z|\lambda^T(z-x)=0 \}是在x处对S的一个严格支撑超平面。} 从几何上看，对于任意λ≻K∗​0，超平面{z∣λT(z−x)=0}是在x处对S的一个严格支撑超平面。
  
• 极小元的对偶性质
  如果$\lambda {\succ }_{K^{\ast }}0并且x在z\in S上极小化{\lambda }^{T}z，那么x是极小的。$
  两者的区别是上图中的x使得所有的${\lambda }^{T}z最小，z\in S$
  下图中，$x_1使得{\lambda }_1^{T}z最小，z\in S$，$x_2使得{\lambda }_2^{T}z最小。$