线性可分支持向量机（理解红色部分结论）

• 线性可分支持向量机

这是个二维空间的例子，O代表正类，X代表负类，这里的样本是线性可分的，但是显然不止一条直线可以将样本分开，而是由无数条，我们说的线性可分支持向量机及时能够将数据正确的划分，并且间隔最大的直线。

 

 

 

计算间隔的方式：

         样本空间中的超平面可以如下表示：

其中这里的w为超平面的法向量wT 就是超平面的方向，b为我们的位移量，决定了超平面和我们的原点的距离。现在假设我们的线性超平面能够将我们的训练样本正确的分类。对于于图中普通的一个点（xi，yi） ，满足下面这个条件

这里的公式是我们最大间隔假设。两边同时乘以我的yi 得到我们的公式：

这样我们训练集中所有的样本就应该满足我们的上面的公式，存在离我们的超平面最近的几个点满足公式 ，他们被称为支持向量，这里的虚线称为边界，两条虚线之间的距离被称为间隔，下图可以表示出来：

下面我们开始计算间隔，从上面图可以看到我们的间隔就是正负两个点在法向量w上投影的距离。写成公式就可以表示成:

这里的两个x分别表示我们的正负两个类上的向量。又由于满足 的公式。所以得到下面的公式：

推出：

然后再代入公式可以得到

现在我们就得到我们的间隔，svm的思想是使得我们的间隔最大化，这样就得到优化里面的式子：

可以将上面的式子简化成下式

至此，我们求得了这样一个支持向量机的一个基本的形式下面我们可以通过凸优化中的方式来计算这个问题。

 

 

 

对偶问题：

         我们使用拉格朗日乘子法然后得到相应的拉格朗日函数：

然后分别对w和b求导得到：

令上面的等式为0；得到：

然后将上面的公式待遇我们的原来构造的拉格朗日对偶函数得到：

解出α 后根据公式我们求得w和b，然后得到我们的模型：

上述过程的kkt条件是：

 

 

总结：对于我们的训练样本：

       如果，那就不会再上面公式的求和项中出现，也就是说不影响训练模型。也就是说偏离超片面较远的点。

       如果，那么,也即是，这个样本一定在边界上，是一个支持向量。也就是说我们取的点在我们的超平面上。

 

 

这里可以看出支持向量机的忠告特征：当我们的训练完成之后，大部分样本不需要保留，最终模型只与支持向量有关。