SVM技术详解(上)

SVM是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解

1. 基本原理

SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中（Hilbert空间），使得在原来的样本空间中非线性划分（或回归）的问题转化为在特征空间中的线性划分（或回归）的问题．简单地说，就是升维和线性化．升维，就是把样本向高维空间做映射，一般情况下这会增加计算的复杂性，甚至会引起“维数灾难”．但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间中却可以通过一个线性超平面实现线性划分（或回归）．

2.线性分类

2.1确定超平面

现在有一个二维平面，平面上有两种不同的数据，分别用圈和叉表示。由于这些数据是线性可分的，所以可以用一条直线将这两类数据分开，这条直线就相当于一个超平面$wx'+b=0$，超平面一边的数据点所对应的y全是-1 ，另一边所对应的y全是1

$$h_\theta (x)=g(wx'+b)$$

$$\begin{cases} 1, & h_\theta (x)\ge0.5\\ -1, & h_\theta (x)\lt0.5 \end{cases}$$

2.2 计算几何间距

假定对于一个点 x ，令其垂直投影到超平面上的对应点为 $x_0$ ，w 是垂直于超平面的一个向量，

$$\hat\gamma=y(w'x+b)=yf(x)$$ $$x=x_0+\gamma\frac{w}{||w||}$$ $$\gamma=\frac{w'x+b}{||w||}$$ $$\hat\gamma=y\gamma=\frac{\hat\gamma}{||w||}$$
几何间隔就是函数间隔除以 $||w||$，而且函数间隔 $y*(wx+b) = y*f(x)$实际上就是 $|f(x)|$，只是人为定义的一个间隔度量，而几何间隔 $\frac{|f(x)|}{||w||}$才是直观上的点到超平面的距离

2.3最大间隔分类器

$$max \gamma_i$$ $$y_i(w'x+b)=\hat\gamma_i\gt\hat\gamma$$
中间的实线便是寻找到的最优超平面（Optimal Hyper Plane），其到两条虚线边界的距离相等，这个距离便是几何间隔，两条虚线间隔边界之间的距离等于2，而虚线间隔边界上的点则是支持向量。由于这些支持向量刚好在虚线间隔边界上，所以它们满足 $$y(w'x+b)=1$$