第七集 最优间隔分类器问题

        本课首先提出了原始的优化问题：最优间隔分类器问题，之后介绍了对偶问题的概念和KKT条件，之后基于原始优化问题的对偶问题的分析，介绍了SVM算法。课程的最后对SVM算 法进行了评价，以引出下节课对核方法的介绍。

回顾：

对于几何间隔来说，以相同的比例缩放w,b，不会对几何间隔造成影响。
对最大间隔分类器的另一种表述：

优化目标：

约束条件：
下面对这个优化问题进行等效分析： ，又因为 ，所以优化目标就变成了 ，约束条件为 。

下面要用到的知识为拉格朗日数乘法，具体定义可以百度。这里提出几个重要概念，约束条件，拉格朗日算子，拉格朗日乘数。

原始优化

假设我们为解决一个问题而定下的优化目标为 ，而它的约束条件为:

所以针对这个问题的拉格朗日算子为：

定义

下面让我们来考虑一种情况，即约束条件被违背时会发生什么。

如果 ，这是因为 可以取任意大的正数；如果 。所以在满足所有约束条件的情况下：

所以 即为原始问题。

对偶优化

上面原始问题的对偶优化问题如下所示:


在一定条件下，原始优化和对偶优化会取相同的值。即 。我们通常会通过求解一个问题的对偶问题来解决原始问题。这是因为对偶问题往往更加简单并且有很多很有用的性质。

原始问题与对偶问题等价的条件

令f(w)为凸函数，假设 ，然后 是原始问题的解； 是拉格朗日乘数，是对偶问题的解，并且 。

则等价条件是：

以上条件统称为KKT互补条件。


根据KKT互补条件和实际情况，我们不妨做出如下推论：

下面介绍SVM中所用的拉格朗日数乘法：

在SVM中，只需要一组拉格朗日乘数 ，有两组参数w,b。

拉格朗日算子为：

图形示意如下，只有函数间隔为1且 不等于0的数据点才能称作支持向量。

对偶问题

将倒数第二个式子代入原始问题的拉格朗日算子中可得：

在对偶问题中我们的目标是最大化 ，同时满足以下约束条件：

当我们解出 后可以根据下面的式子解出其他参数：

另外可根据下式判断出新输入的数据点的类别: