凸函数与凸优化的问题

此文大致从文章file:///C:/Users/Administrator/Downloads/cs229-cvxopt.pdf 翻译得到。

1 介绍

在机器学习的很多领域，我们是想优化一些函数的值，也就是给定一个函数f，我们想找到x，去最大或者最小函数f(x)的值。然而，找到一个函数的全局最优可能是一个困难的问题。凸优化能够在很多情况下找到全局的解答。

2 凸集

定义：一个集合C，如果对于任何x,y属于C，并且w属于R，大于等于0并且小于等于1，   wx+(1-w)y 也属于C。

直观的是，在C集合中的两个元素，画一条线段，然后这条线段也属于C。如下图所示：

3凸函数

直观的意思是，如果我们在凸函数的图上任意选择两个点，画一条直线，然后在这两个点区间的函数值将在这条直线的下面，如图所示：

如果-f是凸的，那么f是凹的

3.1凸性质的一阶条件

这个函数叫做一阶近似对于函数f。直观地，可以认为是用点x的切线来估计f。凸性质的一阶条件是说f是凸的，仅仅当这个切线是对于函数的全局理解。还句话说，如果我们拿我们的函数，在任何点画一条切线，然后在这条线上的每个点都将小于在函数f上的点，如图所示：

二阶条件

假定函数是二阶可微分的，然后f是凸的，仅仅如果D(f)是一个凸集，并且满足：

也就是说，说矩阵的时候是半正定的，在一维的情况下，二阶导数总是非负的。

Sublevel Sets

凸优化问题

凸优化问题的形式为：

也被写成：

其中，f是一个凸函数，gi是凸函数，hi是映射函数（最高次项是1的多项式函数），x是需要最优化的变量。

非常重要的是注意这些不等式的方向：一个凸函数gi一定是小于0的。这是因为这个0-sublevel set of gi  是一个凸集，因此这个可行域也是凸的。并且注意，只有仿射函数才能作为等式的限制

凸优化问题中的全局最优

局部最优：一个可行的点叫做局部最优，如果他的附近没有比目标值比他的目标值更低的点。

全局最优：一个可行的点叫做全局最优，如果没有可行点的目标值比他的更低。

凸优化的主要思想是：所有的局部最优点都是全局最优的。（可以证明）

凸优化的一些特殊情况

线性规划

二次规划

例子

SVM中采用了凸优化

这是一个二次规划的例子，根据下列的矩阵定义，把它转换成了标准的二次凸优化问题，其实我们已经能看出它就是二次凸优化，可以不必这样转换，但是为了使用已有的框架，可以进行这样标准的转换。

应用：SVM使用CVX

很多凸优化问题都可以用现成的软件包解决，比如CVX，一个matlab的软件包。

最后，把这些看完之后，也只是知道了什么是凸优化，他有怎样的性质，但是给定一个凸优化问题，我还是不会怎样能求出他的最优解，哦，想到了课上所讲的拉格朗自的方法。