支持向量机原理（二）线性支持向量机的软间隔最大化模型

        上一节当中我们对线性可分，即硬间隔情况进行了介绍，本节继续介绍一下支持向量的软间隔模型。

1.线性分类SVM面临的问题      

      我们在讨论线性支持向量机的时候，就假定数据是线性可分的，也就是说可以找到一个可行的超平面可以将数据完全分开，但是有的时候会在可分类的样本中混入异常点，我们称之为outlier,存在这种outlier导致样本不能线性可分，比如下面的这张图，本来所有的样本都是可以线性分类的，但是由于一个橙色和一个蓝色的异常点导致了我们没法按照之前的线性支持向量机中的方法来进行分类。

                                                            

                                                                               图1：混入异常点的样本

       或者还有这样一种情况，如下图所示，其中的异常点并没有那么严重的不可分，但是会严重影响预测效果，如果我们不考虑左上角的蓝色异常点，那么超平面会是图中的红线，但是由于存在这样的一个异常点，导致了我们的超平面是下图中的粗虚线，这样会严重影响我们的分类模型预测效果。

                                                             

                                                                                 图2：SVM中的outlier

2.线性分类SVM的软间隔最大化

        这里的软间隔（soft margin）是相当于上一节的硬间隔而言的，回顾一下硬间隔最大化的条件：

                                                                               

                                                                                                               (2.1)

         SVM对训练集里面的每个样本引入了一个松弛变量，使函数间隔加上松弛变量大于等于1，即：

                                                                                                                                            (2.2)

          松弛变量对应着数据点允许偏离函数间隔的量，当然也不是无限大的，每一个松弛变量都对应这一个代价，所以要在原来的目标函数后面加上一项，使得这些的总和也要最小，即得到软间隔最大化的学习条件：

                                                                       

                                                                                                     (2.3)

                                                                        

         这里的C作为惩罚参数，C越大，对误分类的惩罚越大，C越小，对误分类的惩罚越小。也就是说，我们希望