模式识别（Pattern Recognition）学习笔记（十二）--SVM（广义）：大间隔

转载出处：http://blog.csdn.net/eternity1118_。

 在学习之前，先说一些题外话，由于博主学习模式识别没多久，所以可能对许多问题还没有深入的认识和正确的理解，如有不妥，还望海涵，另请各路前辈不吝赐教。

       好啦，我们开始学习吧。。

       同样假设有样本集：

由于线性不可分，所以 不会对每一个样本都满足，就是说肯定会有一些小于1的样本，对于这些样本我们怎么办呢，想象一下，如果我们在不等式两边同时加上一个正数，是不是总会让它不小于1，基于这样一个想法，我们对每一个样本引入一个非负的松弛因子将上述不等式变为：

         (1)

       当样本出现错分时，则该样本对应的，为了保证式（1）非负，那么必然>0，而对于那些被正确分类的样本来说，=0；为了保证分类的准确性和可靠性，就是在样本不可分的情况下，我们要尽可能少的出现错分，因此可以通过对错分样本对应的松弛因子求和来增加对错误的惩罚，这个求和用来来表示在整个训练样本集上的样本错分程度，当这个求和越小，表明错分程度越小；回忆下之前的线性可分下的SVM它的目标函数，在它的基础上我们通过增加一个惩罚项来定义不可分下的目标函数：        (2)

       在上述目标函数中，我们的目的有两个：（1）使分类间隔尽可能大；（2）使错分程度尽可能小；gamma表示在上述两个目的之间的平衡参数，这个参数比较重要，值的选择很关键，值太大时，说明我们对样本错分的容忍小，值太小，说明对错分容忍稍大，而比较重视大间隔分类。

       基于上面两个期望，同样使用拉格朗日乘法来求解：

                        （3）

       较可分情况而言，这是一个广义的最优分类面问题，具体求解方法同可分情况类似，这里不再赘述，详细过程请见http://blog.csdn.net/eternity1118_/article/details/51474693。

对上式泛函求导，得到下面的解：

     （4）

            （5）

注意，这里的跟线性可分下的不同，这里不再只是单单的大于0就行，而是         (6)

另外得到w的解：

        （7）

于是广义问题的判别函数为：

       （8）

到这里，你会发现上面几个式子和线性可分下的完全一模一样，唯一的不同是多了一个上界C。

       下面，来看一看这种情况下的支持向量都有哪些样本组成。

根据库恩-塔克条件，泛函的鞍点出满足以下式子：

       (9)  以及             (10)

对右边式子来说，=C时，才有>0，此时这些对应的样本正是被错分的样本，而本身非负，所以其余的样本对应=0；

对左边式子来说，与之前分析的一样，{}中的那一项等于0时，才有可能使得>0，此时这些样本又分为两类，一类是正确分类但是位于分类边界面上的样本，它们满足，=0；一类是被错分的样本，它们满足=C，>0。上述两类样本组成了不可分下的支持向量，一类叫做边界支持向量，一类叫做错分支持向量。同样b的获得，可以通过对的样本代入公式（9）得到，也可以进一步取平均。

      至此，可以发现，线性不可分的情况包含了可分的情况的，所以我们通常所说的SVM其实就是广义的最优分类面形式，即无需考虑样本可分不可分。