机器学习（凸优化，SVM） 笔记整理

机器学习笔记（1） 凸优化、SVM问题

凸优化

一个AI问题可以把它分解为模型加优化两部分构成，模型有DL、SVM、CNN等，优化有GD，SGD，Adam等等。
机器学习的核心是优化问题。任何一个优化优化问题可以写作以下形式：

若待优化问题是凸函数，我们则可以找到一个全局最优解（Global optimal），如逻辑回归；
若为非突函数，我们找到的最优解通常为局部最优解（Local optimal）
如神经网络。

判断是否为凸优化问题

凸集的定义：假设对于任意x，y∈C，对任意的α∈[0,1]，有
αx+（1-α）y ∈C，者集合为凸集。从几何层面上来说，该表达式可以理解为x y连线上任意点都在集合C内，则集合C为凸集。
判断一个问题为凸优化问题，则它的定义域和值域都应该是凸集。由此引入凸函数的定义，对于定义域里任意下x，y有

判断函数为凸函数通常有直接观察法和求导法，直接观察法可以通过函数的构造来判断函数是否为凸函数，如线性函数，范数等为凸函数；
求导法 若函数二阶可导，我们可以通过该二阶导数大于0来判断凸函数。