机器学习技法笔记4：Soft-Margin SVM

之前几篇见：
机器学习技法笔记1：线性SVM
机器学习技法笔记2：SVM的对偶形式
机器学习技法笔记3：Kernel SVM

4-1 Motivation and Primal Problem

上节课我们主要介绍了Kernel SVM。先将特征转换和计算内积这两个步骤合 并起来，简化计算、提高计算速度，再用Dual SVM的求解方法来解决。 Kernel SVM不仅能解决简单的线性分类问题，也可以求解非常复杂甚至是无 限多维的分类问题，关键在于核函数的选择，例如线性核函数、多项式核函数 和高斯核函数等等。
但是，我们之前讲的这些方法都是Hard-Margin SVM，即必须将所有的样本 都分类正确才行。这往往需要更多更复杂的特征转换，甚至造成过拟合。
1、 本节课将介绍一种Soft-Margin SVM，目的是让分类错误的点越少越好，而不 是必须将所有点分类正确，也就是允许有noise存在。这种做法很大程度上不 会使模型过于复杂，不会造成过拟合，而且分类效果是令人满意的。 为什么会造成过拟合呢？可能有两个原因，（1）你的转换太复杂了。（2）你 要求要将资料完全分割开来
例如：下面两个图中，左图没有完全分开样本点，因此线比较简单，右图完全 分开样本点，但是线也比较复杂。


回顾一下我们在机器学习基石笔记中介绍的pocket算法，pocket的思想不是 将所有点完全分开，而是找到一条分类线能让分类错误的点最少。


4、


6、

4-2 Dual Problem

1、
接下来，我们将推导Soft-Margin SVM的对偶dual形式，从而让QP计算更 加简单，并便于引入kernel算法。首先，我们把Soft-Margin SVM的原始形 式写出来

4-3 Messages behind Soft-Margin SVM

1、 推导完Soft-Margin SVM Dual的简化形式后，就可以利用QP，找到Q， p，A，c对应的值，用软件工具包得到αn的值。或者利用核函数的方式， 同 样可以简化计算，优化分类效果。
Soft-Margin SVM Dual计算αn的方法过程与Hard-Margin SVM Dual的过 程是相同的只不过多了一个上限的条件。

4-4 Model Selection

1、 在Soft-Margin SVM Dual中，kernel的选择、C等参数的选择都非常重要， 直接影响分类效果。例如，对于Gaussian SVM，不同的参数(C,γ)，会得到不 同的margin，如下图所示。