参考我的博客:http://blog.csdn.net/GoodShot/article/details/79162032
机器学习中,经常会用到凸集、凸函数、凸优化问题。
这里对这些概念进行介绍,简单介绍其关系。凸集:如果集合A中任意两个元素的连线上的点也在集合内,则为凸集。见下图。
凸函数:函数任意两点连线上的值大于对应对应自变量出的函数值,则为凸函数。见下图。
凸优化:目标函数是凸函数,变量集合属于凸集,则可以用凸优化处理问题。或者目标函数是凸函数,变量集合的约束函数是凸集合,则也可以用凸优化处理问题。
凸优化问题有一个重要的结论:凸优化问题的局部最优解,就是全局最优解。
常见的凸优化问题:
线性规划:linear programming (注:同下)
二次线性规划:quadratic programming (注:同下)
二次约束二次规划:quadratic contrained programming(注:在http://blog.csdn.net/goodshot/article/details/79167140中,称作非线性规划问题)
大多书中提到的都是针对这几类“凸优化”(因为上面凸优化的重要结论)
参考文章
1、http://www.cnblogs.com/tornadomeet/p/3300132.html
2、http://blog.csdn.net/chlele0105/article/details/12238839