机器学习笔记(1) 凸优化、SVM问题
凸优化
一个AI问题可以把它分解为模型加优化两部分构成,模型有DL、SVM、CNN等,优化有GD,SGD,Adam等等。
机器学习的核心是优化问题。任何一个优化优化问题可以写作以下形式:
若待优化问题是凸函数,我们则可以找到一个全局最优解(Global optimal),如逻辑回归;
若为非突函数,我们找到的最优解通常为局部最优解(Local optimal)
如神经网络。
判断是否为凸优化问题
凸集的定义:假设对于任意x,y∈C,对任意的α∈[0,1],有
αx+(1-α)y ∈C,者集合为凸集。从几何层面上来说,该表达式可以理解为x y连线上任意点都在集合C内,则集合C为凸集。
判断一个问题为凸优化问题,则它的定义域和值域都应该是凸集。由此引入凸函数的定义,对于定义域里任意下x,y有
判断函数为凸函数通常有直接观察法和求导法,直接观察法可以通过函数的构造来判断函数是否为凸函数,如线性函数,范数等为凸函数;