关于凸优化与机器学习理解笔记

梯度下降法和牛顿法等基于导数作为判断依据的优化算法，找到的都是导数为0的点，但是梯度为0只是取得极值的必要条件而非充分条件。如果我们将这个必要条件变成充分条件，即：

                        x点的梯度等于0=》x是问题的最优解

若对于目标函数，我们限定是凸函数；对于优化变量的可行域（包括目标函数对定义域的约束），我们限定为凸集。

同时满足这两个限制条件的最优化问题成为凸优化问题，这类问题有个非常好的性质，那就是局部最优解一定是全局最优解。这个特性可以保证我们在求解时不会陷入局部最优解，即如果找到了问题的一个局部最优解，则它一定也是全局最优解，这极大的简化了问题的求解。

1.关于凸集的概念：

对于n维空间中点的集合C，如果对集合中的任意两点x和y，以及实数，都有：

                                

则称该集合称为凸集。如果把这个集合画出来，其边界是凸的，没有凹进去的地方。直观来看，把该集合中的任意两点用直线连起来，直线上的点都属于该集合。