支持向量机专题——线性支持向量机

原文

线性支持向量机

简介

当数据线性不可分时，使用硬间隔支持向量机很难得到理想的结果。但是如果数据近似线性可分，可以采用软间隔支持向量机(线性支持向量机)进行分类。这通常适用于有少量异常样本的分类，如果使用线性支持向量机，它会尽量使得所有训练样本都正确，如下图所示。

显然这并不是最好的结果，软间隔支持向量机可以权衡“间隔最大”和“误分类点最少”,得到以下结果。

推导

基于线性可分支持向量机，我们增加一个可”容忍“不满足函数间隔大于1的约束条件的考虑。即引进一个松弛变量$\xi_i \ge 0$ ，使约束条件变为

$$y_i(\omega*x_i+b)\ge1-\xi_i$$

同时，修改代价函数（目标函数）为

$$\frac{1}{2}{||\omega||}^2+C\sum_{i=1}^{N}\xi_i$$

接下来的步骤就和线性支持向量机一样，解一个凸二次规划问题

$$\min_{\omega,b,\xi}\qquad\frac{1}{2}{||\omega||}^2+C\sum_{i=1}^{N}\xi_i$$

$$s.t.\qquad y_i(\omega \cdot x_i+b)\ge1-\xi_i,\qquad i=1,2,3,...,N$$

$$\qquad \qquad\xi_i\ge0,\qquad i=1,2,3,...,N$$

根据拉格朗日的对偶性，上述凸二次规划问题的拉格朗日函数是