机器学习之凸优化

参考资料

参考视频:https://lagunita.stanford.edu/courses/Engineering/CVX101/Winter2014/about
貌似bilibili也有：
http://www.bilibili.com/video/av8907218/ 但是没有字幕，对于英语差的人来说就麻烦了

参考书籍：《Convex Optimization – Boyd and Vandenberghe》
https://www.amazon.com/Convex-Optimization-Stephen-Boyd/dp/0521833787
https://web.stanford.edu/~boyd/cvxbook/

概述

优化问题的分水岭不是线性和非线性，而是凸和非凸（Rockafellar 在1993年写到）。

优化问题可以写作如下形式：

$$minimize \space f(x)\\ subject \space to\space f_i(x)\leq b_i ,i=1,2,3......m$$
这里f(x)就是优化目标函数，限定其需要满足的条件。总的来说优化问题分为凸优化问题和非凸优化问题。现在比较成熟的是凸优化问题，如果一个问题可以写成凸优化问题，那么基本就是运用凸优化技术求解就好了，非凸优化问题会运用凸优化问题的求解技术进行求解，比如初始值的选取。

而凸优化问题比较典型的是线性规划问题和最小二乘法。对于线性规划问题，我想学过运筹学的都知道，单纯形法或者内点法。

凸集和凸函数

仿射集合

如果通过集合中的任意两点的直线仍然在集合中，那么集合就是仿射的。
对于多个点的情况下，$x_1,x_2,......x_n$ 如果$\$

简单的说凸集就是，假设在一个空间中，任意两个点的线段上的所有点也在该集合中，那么该集合就称为凸集。
如下图所示：

凸函数

凸优化及对偶问题

to be continue