【机器学习详解】SVM解二分类,多分类,及后验概率输出

支持向量机(Support Vector Machine)曾经在分类、回归问题中非常流行。支持向量机也称为最大间隔分类器，通过分离超平面把原始样本集划分成两部分。

首先考虑最简单的情况：线性可分支持向量机，即存在一个超平面可以把训练样本分开。

1.线性可分支持向量机

1.考虑一个线性二分类的问题；如下左图，在二维平面上有两种样本点x，目标值分别标记为{-1,1}，可以作出无数条直线wTx+b=0wTx+b=0,直线上方的点标记为{+1}的带入直线公式会得到wTx+b>0wTx+b>0,下方的点，标记为{-1}带入直线公式会得到wTx+b<0wTx+b<0，因此可以用wTx+bwTx+b的符号决定点的分类，写成决策函数为f(x,w,b)=sign(wTx+b)f(x,w,b)=sign(wTx+b)把两类点分开，但是个采用哪个直线最好呢？ 
2.一般来说，当样本点离直线越远，则分类正确的确信度越大；如下右图所示，A,B,C三个样本点都被预测分类到‘×’类中。但是对于A的分类正确的确信度比C大。因为点C里分类直线wTx+b=0wTx+b=0很近，当直线的斜率稍一点变化，即会导致C被分到另一类中。 
综上，我们想要得到的直线是离样本点最远，同时又能保证正确划分的直线综上，我们想要得到的直线是离样本点最远，同时又能保证正确划分的直线。 

1.1函数间隔与几何间隔

由二维直线wTx+b=0wTx+b=0扩展到高维被称为超平面(w,b)(w,b)。一个点距离超平面的远近可以表示分类预测的确信程度。在超平面wTx+b=0wTx+b=0确定的情况下，|wTx+b||wTx+b|能够相对地表示点x距离超平面的远近，而且如果分类正确，则y(i)y(i)与wTx(i)+bwTx(i)+b的符号一致,即y(i)(wTx(i)+b)>0y(i)(wTx(i)+b)>0，同时表示分类的正确性以及确信度。 
函数间隔：超平面(w,b)(w,b)关于样本点(x(i),y(i))(x(i),y(i))的函数间隔为

函数间隔:γ^(i)=y(i)(wTx(i)+b)函数间隔:γ^(i)=y(i)(wTx(i)+b)

定义超平面关于样本集S的函数间隔为超平面(w,b)与S中所有样本点的函数间隔的最小值 

γ^=mini=1,2,...m γ^(i)γ^=mini=1,2,...m γ^(i)

定义γ^γ^是为了最大化间隔，γ^γ^表示关于超平面与训练集中样本的函数间隔最小值，下面只要最大化γ^γ^即可。 
注意到函数间隔实际上并不能表示点到超平面的距离，因为当超平面(w,b)(w,b)参数扩大相同的倍数后，如(2w,2b)(2w,2b)，超平面的位置并没有改变，但是函数间隔也变大了相同的倍数2γ^(i)2γ^(i). 
几何间隔： 
 
如上图所示：设样本点A坐标为x(i)x(i),点A到超平面的垂直距离记为γ(i)γ(i),分离超平面wTx(i)+b=0wTx(i)+b=0的单位法向量为w||w||w||w||,因此点B的坐标为x(i)−γ(i)w||w||x(i)−γ(i)w||w||，且点B在直线上，带入直线公式有： 

wT(x(i)−γ(i)w||w||)+b=0；解得:γ(i)=(wTx(i)+b)||w||wT(x(i)−γ(i)w||w||)+b=0；解得:γ(i)=(wTx(i)+b)||w||

如果点被正确分类，y(i)y(i)与(wTx(i)+b)||w||(wTx(i)+b)||w||的符号一致，由此 

同理定义几何间隔:γ(i)=y(i)(wTx(i)+b||w||)同理定义几何间隔:γ(i)=y(i)(wTx(i)+b||w||)

 

超平面与样本集S的几何间隔为γ=mini=1,2,...m γ(i)超平面与样本集S的几何间隔为γ=mini=1,2,...m γ(i)

几何间隔不随着超平面参数的变化而变化，例如超平面参数(w,b)变为(2w,2b)，函数间隔γ^(i)γ^(i)变为2γ^(i