软间隔SVM---松弛变量&惩罚因子

软间隔SVM

0.为什么要引入软间隔SVM

在svm中对于线性不可分问题可以通过使用核函数将特征映射到高维空间实现“线性可分”

直观解释：

盒子中的小球（黑白两种颜色），在盒子上面看，无法用一个平面分割；但是从盒子的侧面看就可以用一个平面将两种颜色的小球分开了。

这种思想就是将特征转换到另外一个空间（可能与原空间的维度相同或者升维），就可将线性不可分问题转变为线性可分问题。

但是对于只有少部分样本点（离群点）线性不可分时（这类问题叫做“近似线性可分问题”），这个点可能是噪声，这样的噪声在硬间隔分类器下，会使得整个问题无解，因此为了解决硬间隔分类器容易受少数噪声点控制的问题，引入了软间隔分类器。

1.松弛变量---为分类器加入容错性

（1）硬间隔在画分类面的时候要满足，让所有正样本或者负样本距离分类面的距离都>=1

即，有约束条件：

（2）软间隔分类器在画分类面的时候允许有部分样本点在“间隔带”中间出现（离分类面的距离小于1）

一次，约束条件变为：