凸优化知识点总结

凸优化概述

一、什么是凸优化

  不严格的说，凸优化就是在标准优化问题的范畴内，要求目标函数和约束函数是凸函数的一类优化问题。

二、重要性

  凸优化之所以如此重要，是因为：
1. 其应用非常广泛，机器学习中很多优化问题都要通过凸优化来求解；
2. 在非凸优化中，凸优化同样起到重要的作用，很多非凸优化问题，可以转化为凸优化问题来解决；
3. 如上引用所述，凸优化问题可以看作是具有成熟求解方法的问题，而其他优化问题则未必。

三、凸优化知识体系

1. 凸集，定义目标函数和约束函数的定义域。
2. 凸函数，定义优化相关函数的凸性限制。
3. 凸优化，中心内容的标准描述。
4. 凸优化问题求解，核心内容，主要是无约束优化、等式约束优化、不等式约束优化。相关算法，梯度下降法、牛顿法、内点法等。
5. 对偶问题，将一般优化问题转化为凸优化问题的有效手段，求解凸优化问题的有效方法。

四、标准优化问题

五、凸优化问题

转自：http://www.jianshu.com/u/fada150f26bf