机器学习 支持向量机

一、支持向量

        支持向量机就是要通过找支持向量来找划分超平面。

        

假设所有的样本，每个样本两个属性。y ∈ ( + 1 , − 1 ) 

假设上述的样本集在二维坐标系里面的分布如下所示：

从图中可以看出，这些样本是线性可分的，可以用一条直线分开，而且是无限多条直线，这些直线可以用wx+b=0表达，由w ww和b bb来确定这条直线的斜率和相对原点的偏移量。

推广到多维空间的话，这个方程就变成了： 

其中的就是表示向量。从距离上看，到这个超平面距离等于1的点，也就是恰好等于y 的点就是样本点中的支持向量，其他样本点的结果都会大于1。

​ 我们需要这条分界线(超平面)离每类样本距离都远一点，所以，这个分界线是最好在中间位置，如下图所示

 假设存在了这条分界线，所有样本点到这条分界线的距离可以用下列式子计算

                                              

 其中