每天五分钟机器学习算法：软间隔分类器支持向量机

本文重点

前面我们学习了硬间隔分类器，这个分类器可以完美地学习出线性可分的情况，但是可能会有下面的这种情况：

 

如图所示，我们可以看到上面的蓝色的样本点，如果我们去掉这个蓝色的样本点，那么此时学习出来的决策边界非常好，如果我们不去掉，那么学习出来的决策边界是黑色虚线，非常不好。所以使用有一种方法能够给这个点一点宽容，让它存在的情况下，我们还可以学习出红色的分割超平面呢？本文介绍软间隔分类器。

软间隔支持向量机

软间隔，相比于硬间隔的苛刻条件，我们允许个别样本点出现在间隔带里面，也就是说之前所有的样本点都要满足下面的这种约束情况：

 

但是现在我们允许个别样本点出现再间隔带内，那么意味着我们让所有的样本点满足下面的这种约束条件：

 

其中每一个样本对应一个ξi≥0，这个表示松弛变量，它度量这个样本间隔软到何种程度