凸优化(2)

凸优化 凸集
觉得这个笔记讲得蛮不错的，可以参考一下

---

超平面 $a^{T}x=b$

• a就是这个平面的法向量，如何理解：
  • 对于平面来说，b只是个平移量，所以$a^{T}x=b$和$a^{T}x=0$ 这两个平面的法向量是一样的
  • 满足$a^{T}x=b$的任意点$x_0$ ，有 $a^T{x}_0=b$，也就是与a向量正交，which means a向量与该平面上所有向量正交，which means a向量是这个平面的法向量

一个点也是一个凸集

• 常用在证明里面的性质

nlb 中系数归一化的问题

只有affine set和convex hull还有simplexes有要求

其余的都没有( 其实只是conix hull比较特殊而已，毕竟人家是开集合，所以没有归一化的要求 ，其余的都是不等式啥的 还有椭球。。人家那个又不是hull 不需要考虑combination的情况 )

半空间 法向量方向

$a^{T}x\le b$
$\le$意味着法向量是往远离半空间的方向戳的

二阶锥的形状 Norm Cones

多面体 Polyhedra

• 代表一系列的半空间（halfspace） 和 一系列的超平面 （hyperplane）
  halfspace是convex的（是cone但不是affine的
  hyperplane是convex的（是affine的也是cone的
  所以polyhedra是convex的 （但由于是封闭的不是cone的233

半正定锥 positive semidefinite cone

$S^n,S_{+}^n,S_{++}^n$ 符号理解

list

保凸运算

• 这里的交集就定义了 convex的性质的可传递性 --> convex的子集/交集也是convex的 ，但是cone就不一定了

超平面分离定理 Separating hyperplane theorem

注意严格分离和分离的区别

正常锥 proper cone

closed ，pointed ， solid

广义不等式 generality inequality

• 是定义在正常锥K上的运算 which means ：
  
  而不是意味着两个元素属于K，而是相减后的结果属于K
• 每一个维度都要大才是generality equality
• 不一定可比 <–> 偏序
• 普通不等式有的性质，广义的也有

minimum / minimal ele的寻找方式 :

做一个第三象限和凸集合找唯一相切的那个切点

对偶锥 dual cone

• K* 必凸 no matter K is or not
• K是锐角 K*就是钝角 ，反之亦然
  • 所以你猜猜直角的怎么办

K** = K for normal cone

看到conjugacy 和dual就很容易想起来的性质

dual generalized inequality

找最小或者极小化 λ^Tx（λ>0）的向量x的方法

只需要做以λ为法向量的直线，从左下方向右上方移动找相切的切点)
注意，λ>0不能丢，λ<0的话就变成maximum / maximal ele了

对minimum ele的另一种定义形式 [ 充要条件 ]

注意，这里超平面的定义要牢记:

lambda是超平面法向量，那么z作为向量的集合，自然是该超平面啦（注意，这里x是某一个向量(而不是向量的集合) ）

这里居然还引入了严格支撑的说法 = =

• 这里和generalized inequality那边是一样的 只不过另一个角度看问题

例子

对于所有的法线λi( 定义在K*上的 )，其严格支撑超平面(也就是过 使得λi^Tx最小化的那个点的切平面) 都在点x_i(向量) 处和S集合相切
则 点x_i(向量) 就是集合S上关于K的最小元
【反过来也是 == 充要嘛】

• 注意，广义不等式是定义在集合上的！所以只说 点x_i(向量) 就是集合S上的最小元 是错误的

对minimal ele的另一种定义形式 [ 必要条件 ]

由于上一个定义强调了 所有的法线λi，那么这里的定义就自然而然地是：
对于某一个法线λi( 定义在K*上的 )，其严格支撑超平面(也就是过 使得λi^Tx最小化的那个点的切平面) 在点x_i(向量) 处和S集合相切
则 点x_i(向量) 就是集合S上关于K的极小元

• 例子

上图左下边界暗色区域均是极小元，因为都可以类似x1,x2一样找到也个切点。

逆命题

• 只有在S在凸的时候才成立（而且还要继续修改些条件）。如果S不是凸集，那么可能S上的极小元x对于任何λ都不是z∈S上极小化λ^Tz的解。

由于S不是凸的，左侧突出的部分才是极小化 λ^Tz 的解。然而，x依然是极小元。（因为x的左下侧阴影与S不相交）

• 这就是为什么用这种方式找到的极小元会比定义的形式定义的极小元少
  • 但是没关系 ，定义的方式必须得遍历，whose 复杂度太高，我们只需要用这种方式即可，whose复杂度小很多，although 找不全 [ 我们希望快点找到 overweights 希望找到全部 ]

逆定理完整描述

假设S是凸集，可以说对于任意的极小元x，存在非零的$\lambda {⪰}_{K^{\ast }}0$使得x在z∈S上极小化λ^Tz。

• 正命题的≻变成了非零⪰

• 正命题我们也不能将≻变成⪰ 【这是在解释为什么我们不能让正命题和逆命题形式一致的原因】