svm简单理解

svm

中文名为支持向量机，是一个二类分类算法，其目标是确定一个使不同类别的数据分隔开来的超平面，我们应该寻找有最大间隔的超平面。超平面由参数w与b确定。其公式为$f(x)=w^{T}x+b$当$f(x)$为0时，x就是超平面上的点。

当$f(x)>0$时，x对应类别y=1的样本点。

当$f(x)<0$时，x对应类别y=-1的样本点。

$|w^{T}x+b|$能够反映点x到超平面的距离远近。可以用类标记y与之相乘观察分类的正确性，由此可以引出函数间隔：$y\ast (w^{T}x+b)$即$yf(x)$。

但是函数间隔中的w和b可以成比例的变换从而使$f(x)$的值倍增，而超平面却没有变换。

将超平面上的一个点$x_0$带入$f(x)$中，则有$f(x_0)=w^T{x}_0+b=0$,则可得出：$w^T{x}_0=-b$.

对一个点x，其垂直投影到超平面上点为$x_0$，超平面的法向量为w，$\gamma$为点x到$x_0$的距离。

则有$x=x_0+\gamma \frac{w}{||w||}$

其中$\frac{w}{||w||}$为单位向量

在$x=x_0+\gamma \frac{w}{||w||}$左右两侧同时乘以$w^T$,则有$w^{T}x=w^T{x}_0+\gamma \frac{w^{T}w}{||w||}$,其中$w^T{x}_0=-b$,$w^{T}w=||w|{|}^2$,可得x到$x_0$的距离：$\gamma =\frac{w^{T}x+b}{||W||}$

为了得到$\gamma$的绝对值，让对应的类别乘上$\gamma$可得到几何间隔：$y\gamma =\frac{yf(X)}{||w||}$

函数间隔只是一个人为定义的间隔度量，几何间隔才是直观的点到超平面的间隔。

支持向量是使得$f(x)=\{\begin{array}{l}{w}^{T}x+b\ge 1,y=1\\ w^{T}x+b\le -1,y=-1\end{array}$式中的等号成立的样本点。

对数据进行分类时，间隔越大，数据分类的确信度越高。最大间隔定义为两个异类支持向量到超平面的距离，即(令函数间隔$yf(x)$为1）：`$\frac{2}{||w||}$

优化目标为找到使最大间隔$\frac{2}{||w||}$最大的参数w和b。即：$max\frac{2}{||w||}$ s.t. $y_i(w^T{x}_i+b)\ge 1$