凸优化详解

从两个不等式说起：

两个正数的算术平均大于等于其几何平均：

                                               

给定可逆对称阵Q，对于任意的向量X，Y，有：

                                             

这样的问题都可以在凸函数的框架下得到解决。

然后再来看一下凸集和凸函数：例如的英文凸一个函数，函数的上方区域构成的集合就是凸集，这个函数是一个凸函数。

直线的向量表达：已知二维平面上有两个点A（5,1），B（2,3）经过这两点的直线方程为：

                                         

写成向量形式就是：

按我的理解就是参数每多一行，矩阵甲就多一列，解也多一行，的和为1。

仿射集：通过集合Ç中任意两个不同点的直线仍然在集合Ç内，则称集合Ç为仿射集。

例如平面，取平面上两点，连接两点构成一条直线，直线仍然在这个平面内。

凸集：。集合Ç内任意两点间的线段均在集合Ç内，则称Ç为凸集区别就在于THETA的范围一个为[R一个为[0,1]因此只要一个集合是仿射集，那么这个集合一定是凸集（就是说凸集（大范围）包括了仿射集（小范围））（解释：因为如果一个有界的凸边形，任意两点的线段在集合内，但是直线不在，有一部分会越界，所以是凸集不一定是仿射集，而仿射集而言因为直线都包括在内了，那么这条直线的任意线段都在内，因此是仿射集就一定是凸集）

我的英文单位阵，乘以单位阵就是标准的球，乘以P这个例如[[0,2]，[3,0]这个对称正定矩阵，就相当于缩放了，就是一个椭球。

分割超平面的构造：假定有两个集合C，d，在Ç中任取一点C，d中任取一点d，连接C，d，总能找到一条最短的线段CD，CD作的垂线，这条垂线就是集合C，d的分割超平面。

割线位于函数值的上方的函数就是凸函数。

海森矩阵：如果一个函数先对X求偏导再对ÿ求偏导等于先对ÿ求偏导再对X求偏导，那么这对称矩阵就是海森矩阵，它是正定的，也就是凸的，若二阶导> = 0就是半正定的。正定是正数在ñ维空间的推广。

杰森不等式：函数的和大于等于和的函数，即E（F（X））> = F（E（X）），自变量期望的函数值小于等于函数值求期望几乎所有的不等式都可以看成某一个凸函数和杰森不等式结合得到的。

共轭就是相互之间是有影响的。

凸优化问题的基本形式：

                                           

网络连接（X）为凸函数，HJ（X）为放射函数，这样的问题称为凸优化问题，因为只有这样才能保证拉格朗日对偶去求的最大值是原问题的最小值。

对偶：。进行了这样的转换称为对偶，就将这样一个最小值问题转化为了一个最大值问题现在将看作ý就转化为F（X，Y）先求X的最小再求Ý的最大，但是会比原始问题偏小。

KKT条件：

INF（X）表示对X求偏导。