svm软间隔和核函数的理解

大数据量下往往无法做到硬间隔，在实际使用svm时，会采用两种办法来解决这种问题。

1.使用软间隔

2.使用核方法

软间隔：即在支撑向量围成区域内还有其他数据点，这些数据点在优化函数计算时也会被考虑。因此本质上也是支撑向量。这种支撑向量和超平面之间距离不稳定为b的情况就是软间隔。

在这种部分样本不满足约束条件的情况下，k引进一个松弛变量θi>0：

这个问题就变成了一个软间隔的问题，优化目标就变成了：

首先构造拉格朗日函数：

其实和硬间隔相比，只是多了一个参数，在利用SMO求解拉格朗日乘子中并没有什么改变，因此后续这个问题时可以理解为求解一个硬间隔的问题了。

核函数：有的时候样本线性不可分，采用线性模型可能会导致一些问题，在python编程中常常会结合isotonic或者sigmoid进行模型调优，简化模型的同时保证模型尽可能的线性可分。但是遇到线性分类下准确率极低的情况就要考虑核方法

如上图，这种时候就需要使用其他的分类函数。

在python编程中，提供了线性“linear“,多项式”poly”,高斯”rbf”,逻辑回归”sigmoid”,提前终止”precomputed”这几种核函数，默认的核方法是rbf，当处理简单问题时，可以从线性开始尝试。

采用了核函数之后，超平面可以表示为：

实际上就是将x换成了带参数的x，在求解释将核函数展开即可。