SVM

支持向量机模型

logistic回归中，得到线性划分$f(x)=\omega^Tx+b$, 当$f(x)>0$时，判为1，$f(x)<0$时，判为0。
SVM与logistic回归类似，但划分方式为

$$\left\{ {\begin{array}{*{20}{c}} {\omega^Tx+b \ge 1,y=1}\\ {\omega^Tx+b \le -1,y=-1}\\ \end{array}} \right.$$

如上图， $H_1$和 $H_2$经过的点，使得上式取等号。这些点称为 支持向量。
因此， $H_1$与 $H_2$之间的距离 $\frac{2}{\| \omega \|}$， 称为间隔(margin). 间隔越大，划分鲁棒性越好。对应优化问题为
$$\max_{\omega, b} \frac{2}{\| \omega \|}$$
$$s.t. y_i(\omega^T x_i+b) \ge 1$$
等效优化目标为
$$\min_{\omega, b} \frac{1}{2}{\| \omega \|^2}$$

求解

上式属于二次凸优化，有现成的优化方法。但SMO算法更为高效。

核函数

支持向量机(SVM)是什么意思？
上述的划分中，前提假设是训练样本线性可分。但对于训练样本线性不可分时，可以做一些预处理。
例如，演示中，将平面上的点映射到一个空间曲面上，此时，就存在一个超平面，可以将样本正确划分。


而映射到空间中的函数，就是核函数。
因此问题模型变为

$$f(x) = \omega^T \phi(x)+b$$