凸优化

• 参考书籍 凸优化(Stephen Boyd)

仿射集

1. 与仿射集相关联的子空间与v0的选取无关，为什么？这句话的几何意义是什么？
2. 2个不同的点构成的点集，其仿射包是什么？3个不共线的点构成的点集，其仿射包是什么？…
3. 两个集合{线性空间(及线性子空间）}与{仿射集}，哪个集合更大？
4. 例2.1证明了线性方程组的解集是仿射集，反之，任意仿射集都可以表示为一个线性方程组的解集，请给出严格的证明。

• 从几何上看，子空间是一定包含零点的一个集合，V0只是确定了子空间与仿射集的距离，v0只要是C中的就可以了，并不影响子空间的确定。
• 直线，二维平面
• 仿射集大,{线性空间}包含于{仿射集}，线性空间一定是仿射集，反之不一定。并且线性空间一定经过原点，仿射集不一定。
• 设C是非零仿射集，V是C对应的子空间，$T=V^{+}{e}_1,e_2,\cdots ,e_m$,为T的基向量。
  任意y属于V，都有${e_1}^{T}y=0,{e_2}^{T}y=0\cdots {e_m}^{T}y=0$,设$A=[e_1,e_2,\cdots ,e_m{]}^T$,A是$m\times n$矩阵。所以Ay=0。
  又因为V=C-a，所以任意x属于C，x=y+a
  $Ax=Ay+Aa=Aa=b$,证明成立
  当C是空集时，不存在x，使得Ax=b，满足题意。

凸集

1. 想想凸集的本质是什么，与仿射集有什么不同？
2. 书上的习题2.1、2.4建议做一下
   

• 2.4表明，任给一个集合，能够包住它的凸集有无数个，但是其中最小的是它的凸包，而这个凸包，正好是所有包住这个集合的凸集的公共部分

总结一下：不考虑空集、单点集这些意义不大的玩意。
1、仿射集是那些平直的，没有方向限制可无限延伸的东西，例如直线、平面、…、高维超平面。它们的本质特征就是在其中取两个不同的点画直线，跑不出去
2、凸集就是向外鼓起的东西，例如球、长方体、…、高维空间中的超球，其本质特征是在其中任取两个点连线段，跑不出去
3、锥是从原点出发向一个方向平直无限延伸的东西，例如顶点在原点的圆锥。其本质特征是从原点出发过其中任意一点连射线，跑不出去。从原点出发的两条不同的射线是锥，两个共原点的不同的圆锥也是锥
4、仿射集一定是凸集
5、凸锥就是凸的锥，也就是说既是锥也是凸集。从原点出发的两条不同的射线是锥，但不是凸锥

一个目标函数定义在某个集合（可行解集合）上，优化问题就是从这个集合中找出使目标函数最优（例如达到最小值）的那个解。一般而言，优化问题并不容易求解，但是如果目标函数是凸函数，可行解集合是凸集，那么就有解决问题的方法，这就是凸优化要研究的内容

超平面

思考几个问题：

1. 超平面的“维数”是多少？超平面方程中b有什么含义？
2. 单纯性一定是多面体，试着给出严格的证明。
3. 看一下附录a中的范数概念，然后思考在二维和三维空间中，1范数球、2范数球、∞ 范数球的形状；1范数锥、2范数锥、∞ 范数锥的形状。

• 关于超平面的“维数”：在R^n中，超平面a’x=b是仿射集（所以也是凸集），它的维数就是与之相关的子空间的维数，所以维数是n-1。这个子空间的正交补是1维的，超平面的法向量a就是正交补空间的一个基

• 维数是线性空间中极大线性无关组的向量个数，或者说是基向量的个数。超平面，一般不是线性空间，所以严格来说没有基，也就没有维数。但是超平面是仿射集，所以它有对应的线性子空间，这个线性子空间的维数就定义为超平面的维数。而这个线性子空间正是其法向量张成的一维空间的正交补空间，所以它的维数是n-1

• 超平面方程中b的意义：超平面方程是a’x=b，x是超平面上的任意一点，所以常数b是超平面上任何一点与法向量a的内积

• 那么，原点到超平面的距离是多少呢？就是x在a上的投影长度，所以是|b|/||a||

• 范数球二维空间
  - 范数球三维空间
  

• 范数锥二维空间
  

• 范数锥三维空间
  三维情况下，2范数锥的方程是sqrt(x^2+y2)=z
  1范数锥的方程是|x|+|y|=z，∞范数锥的方程是max(|x|+|y|)=z。
  注意观察范数锥在三维空间中的形状，从上到下的投影与范数球在二维空间中的形状一致。锥只是比球多了一个变量，随着Z的增大，就得到了三维图形。

保凸运算

运算可以分成两类，一是集合运算、交并补等等，一是集合之间的映射。
集合运算中，交保、并不保、和保。思考问题：
1、笛卡尔积是否保凸？ 保凸，按照凸集定义即可证明
2、补是否保凸？不保,集合{$y\ast >y|y=x^2,x\in R$}的补集非凸

集合间的保凸映射，指的是凸集经过映射得到的集合仍然是凸集。典型的保凸映射有仿射、透视、线性分式。思考一下，保凸映射有没有可能把非凸集映射成凸集？
保凸映射的本质是，输入是凸的，输出一定也是凸的。至于输入非凸，那么输出是凸还是非凸并不关心。

平面上两个圆的合集还是圆，由$||x-a||<=d_1,||y-b||<=d_2$的，$d_1+d_2>=||x-a||+||y-b||>=||x+y-a-b||$

正常锥和广义不等式

广义不等式是一种偏序关系，需要满足自反性(xRy)、传递性(能由xRy,yRz推出xRz)、反对称性（xRy和yRz只有一个）。R是一种关系。严格偏序关系没有自反性。

我们都知道2维及以上的向量是不能比较大小的，但是比大小这件事在很多时候是很有用的，因此我们借助于真锥，可以在高维空间中引入“大小”关系。但是，由真锥引入的只是偏序关系，所以不是每两个向量都可以比大小。如果有一个向量可以和所有向量比大小，并且是最小的，那就是最小元。如果一个向量在所有能够与它比大小的向量中是最小的，则称为极小元

在2维及以上空间中引入偏序的最常规的方法是用非负象限锥，它是一维空间中的[0,+∞)、二维空间中的第一象限、三维空间中的第一卦限的自然推广。非负象限锥引入的大小关系就是分量不等式，说x<=y，就是指x的每个分量小于等于y的对应分量

1、锥必须包括原点，所以真锥也包括原点
2、元素大小的比较可以自定义，只要引入一个真锥即可

问题1：
K=[0,+∞)是一维真锥，它确定了实数集的<=关系，这个二元关系不仅是偏序关系，而且还是全序关系，所以全体实数都可以比较大小

问题3：
$y-x\in K$，y-x表示向量之差在锥里，因为锥是射线，y-x属于K，x-y就不属于K了，就满足了反对称，传递很好理解，锥包含零点，所以满足自反要求。

问题4：
严格偏序是用intK定义的，intK表示K的内部，就是K的内点的集合，intK不是锥。所以，严格偏序并不是偏序关系

问题6：
三角形左下顶点是最小元，也是极小元；圆没有最小元，极小元是第三象限的圆周。此处的大小关系是通过非负象限锥定义的，二维情况的非负象限锥就是第一象限。

第6题换成最大元和极大元，三角形没有最大元，极大元是右上角的边。圆也没有最大元，极大元是右上角。

举个不能比较大小的案例，比如用非负象限定义的偏序关系，(-2,4)<=(-1,5)，但是(-2,4)和(1,3)就不能比大小。
因为(-1,5)-(-2,4)=(1,1)，在第一象限，所以可以比大小，其实就是对应的分量都满足小于等于关系，(1,3)-(-2,4)=(3,-1)，不在第一象限，所以不能比大小，对应的分量不是都满足小于等于关系

由非负象限锥定义的大小关系就是分量的大小关系。对二维情况来说，x分量小，则在左边，y分量小，则在下边，所以说一个向量比另一个向量“小”，就是说这个向量在另一个向量的左下。因此，最小元就是一个集合最左下的点，极小元就是左下没有其它点的点

用第一象限定义向量的大小关系，是两个向量的差落在第一象限。因此一个点比它左下的点大，比它右上的点小。一个点不能和它右下的点以及左上的点比大小。这也说明二维及其以上的向量的“大小”只是偏序关系，不是全序关系，不是任何两个点都可以比大小

只要是真锥都可以定义偏序关系，但是定义出来的不一定有实际意义。用非正象限也可以定义分量不等式，只需把y-x属于K换成x-y就可以了

不是所有的凸锥都是真锥，比如｛0｝、全空间、半空间都是凸锥，但不是真锥