机器学习-支持向量机 2

线性支持向量机与软间隔最大化

 1.线性支持向量机

线性可分问题是支持向量机学习方法，对线性不可分数据是不适用的。

通常情况下，训练数据中有一些特异点，将这些特异点取出后，剩下的大部分的样本点组成的集合是线性可分的。

线性不可分意味着不能满足硬间隔最大化约束条件，因此，可以对每个样本点引入一个松弛变量  ，使函数间隔加上松弛变量大于等于1，这样，约束条件变为

                                                              

同时对每个松弛变量  ，支付一个代价  ，目标函数由原来的  变成  

                                                             

这里作为惩罚函数，值增大时对五分类的惩罚增大。

最小化新的目标函数包含两层含义：使尽量小，间隔尽量大；使误分类点的个数尽量小。是调和两者的系数。

上面的方法称为软间隔最大化。

综上，线性不可分的线性支持向量机的学习问题变成如下如凸二次规划问题（原始问题）：

                                                              

                                                              

                                                                           

原始问题（即上式）是一个凸二次规划问题，因而关于  的解是存在的。

的解是唯一的，的解可能不唯一，而是存在于一个区间（具体原因还没懂）。

线性支持向量机包含线性可分支持向量机，由于现实中的数据往往是线性不可分的，线性支持向量机具有更广阔的适用性。