凸优化学习资料

求解一个一般性的最优化问题的全局极小值是非常困难的，至少要面临的问题是：函数可能有多个局部极值点，另外还有鞍点问题。对于第一个问题，我们找到了一个梯度为0的点，它是极值点，但不是全局极值，如果一个问题有多个局部极值，则我们要把所有局部极值找出来，然后比较，得到全局极值，这非常困难，而且计算成本相当高。第二个问题更严重，我们找到了梯度为0的点，但它连局部极值都不是，典型的是 x的三次方 这个函数，在0点处，它的导数等于0，但这根本不是极值点：

如果对问题加以限定，是可以保证必要条件变成充分条件的。其中的一种限制方案是：

对于目标函数，我们限定是凸函数；对于优化变量的可行域（注意，还要包括目标函数定义域的约束），我们限定它是凸集。

那么凸集是什么呢

对于n维空间中点的集合C，如果对集合中的任意两点x和y，以及实数 [公式] ，都有：

通俗来讲就是任意两点用直线连起来，直线上的点都属于该集合。