凸优化概念

本文于此网站转载摘抄： http://blog.sina.com.cn/s/blog_4b12446d01014iod.html

        最小二乘问题和线性规划问题都可以看成是凸优化问题的特殊情况，但是与 最小二乘问题和线性规划问题两者不同，求解凸优化问题还不能算是一门成熟的技术。通常没有解析公式来求解凸优化问题，但是存在一些有效的算法，最典型的代表是 内点算法。如果一个实际的问题可以被表示成凸优化问题，那么我们就可以认为其能够得到很好的解决。但是往往识别一个凸优化问题比识别一个最小二乘问题要困难的多，所以需要更多的技巧。还有有的问题不是凸优化问题，但是凸优化问题同样可以在求解该问题中发挥重要的作用。比如松弛算法和拉格朗日松弛算法，将非凸的限制条件松弛为凸限制条件。

        凸优化包含多个层次，比如：二次优化问题是一个最底层的优化问题，可以通过求解 线性方程来求解优化问题。而牛顿算法是上一个层次，牛顿算法可以求解 非限制问题或等式限制问题，但往往是将该问题简化为多个二次优化问题。内点算法处于最高级，可以将 非等式限制问题转化为一系列 非限制问题或等式限制问题。