SVM支持向量机 学习笔记

问题

训练样本集。分类学习的基本思想是在训练集D所在的样本空间找到一个划分超平面，将不同类别的样本划分开。在样本空间中，划分超平面可以通过如下线性方程来描述：

                                                          (1)

原因：

在划分超平面线性方程中，为法向量，决定了超平面的方向，b为位移项，决定了超平面与原点之间的距离。显然，一个划分超平面可以通过法向量w和位移项b确定，可以记作(w, b)。

 

但是能将训练样本分开的超平面可能有很多，如下图所示，存在多个划分超平面可以将两类训练样本分开，应该找哪一个呢？

直观得看，应该去找位于两类训练样本“正中间”的划分超平面，即图中红色的那个，因为该划分超平面对训练样本可能存在的局部扰动的“容忍”性最好。例如，由于训练集的局限性或噪声的影响，训练集外的样本可能会比上图中的训练样本更接近分割界，这将使许多划分超平面出现错误，而红色的超平面受影响最小。换言之，这个划分超平面所产生的分类结果是最“鲁棒“的，对未见样本的泛化性最强。

接下来，我们将上述想要“找到泛化性最好的超平面“的思想用数学的形式表示出来。

对于划分超平面(w, b)和样本空间中的任意点x，样本空间中任意点x到划分超平面(w, b)的距离为

                                                      (2)

如果假设超平面(w, b)能将训练样本正确分类，那么对于，若，就有；若，则有。这两个不等式可以构成一个约束，但如果想要“找到泛化性最强”的超平面，这一约束是不够的，因为该约束只能保证找到正确划分的超平面，而无法表示出“所得超平面泛化性最强”的要求。

因此对这两个不等式做一些修改，令

                                     (3)

该不等式的推导稍后给出。我们先来看这个约束，如下图所示，

图中用圆圈圈起来的样本点是距离超平面最近的几个训练样本点，这些样本点使得（3）式的等号成立，它们被称为“支持向量”，两个异类支持向量到超平面的距离之和为，

                                                          (4)

称为“间隔”。接下来给出（3）式推导过程和间隔距离（4）的推导过程。

(3)式推导过程：

式（4）间隔距离推导过程：

我们希望能找到泛化性最强的划分超平面，就等价于希望能找到“间隔最大”的划分超平面，因为显然间隔越大，对误差样本的容错性就越大，泛化性就越强。也就是说，要找到能满足式（3）约束的参数w和b，使得γ最大，即：

                                                                (5)

将最大化中的分式倒转，转为最小化：     

                           （6）                                               

    

这就是支持向量机的基本型。

 

 

解决方法

我们希望求解式（6）得到大间隔划分超平面的模型参数w和b，就能得到划分超平面所对应的模型

观察目标函数式（6），这是一个在由不等式约束规定的可行区域内求最小值问题。一般来说，最优化问题有以下三种情况：

• 1 无约束条件

这是最简单的情况，解决方法通常是对函数变量求导，令求导函数为0的点可能是极值点。将结果带回原函数进行验证即可。

• 2 等式约束

设目标函数为，约束条件为，形如

“s.t.”表示subject to，为“受限于”的意思；l表示有l个约束条件。

解决方法是拉格朗日乘数法。定义拉格朗日函数：

其中为各约束条件的拉格朗日乘子。然后求解各变量的偏导方程：