【机器学习-吴恩达】SVM

1 介绍

上图中有A，B，C三个点，直线两边对应着不同的分类。C和直线距离很近，只要我们的直线稍稍偏转一点角度，那么C的类别就会改变，相对于C，我们能更自信地给它归类到X类。
我们期待找到这样一条直线，是我们都能自信地为所有的点进行分类。

使用假设函数h(x)=g(W.T*X+b)来实现我们的SVM分类器。(在我们的逻辑回归中，g(Z)使用的是sigmoid函数)

2 函数间隔和几何间隔

1. 函数间隔(functional margin)

定义一个实例的函数间隔。

这里需要注意到一个事实，对于我们的假设函数h(x)来说，g(w.T*x+b) = g(2w.T *x+2b)，因为指定了阶跃函数，只要Z>0,g(z)=1;(w,b)的比例变化并不会对结果造成影响。这很重要。后续的公式化简会用到。

我们定义一个数据集的函数间隔gammaHat是所有的gammaHat中的最小值。

2. 几何间隔(geometric margins)

点A到分隔线的距离gamam(i),怎么找到这个距离？


B点的X坐标与A点相关，可根据A点的坐标计算出来。由于B点在分隔线上，故代入分隔线方程求解几何距离gamma(i)

更一般地，因为直线两边符号不同，造成距离计算有正有负，故乘以label标签，将几何距离统一成大于0的数。最后给出一个实例的几何距离公式。

从几何距离的公式中可以看出，当||w||=1时，我们的几何距离和函数距离相等。

同样地，我们给出几何距离关于一个数据集的定义。gamma=min(gamma(i))数据集的几何间隔是所有实例的几何间隔中的最小值。

3 距离优化分类（The optimal margin classi er）

给一个数据集，从前述的讨论看，我们当然希望找到一个合适的margin,也就是最大化我们数据集的margin.(因为距离越大，说明数据点距离我们的分隔线越远，也就意味着分类器更加健壮，结果的可信度也就越高)

||w||=1,则函数间隔和几何间隔相等。（gammaHat是我们的函数间隔，gamma是我们的几何间隔）
根据公式，我们希望找到一个最大化的几何间隔，使得所有的点都大于我们的几何间隔（注意，对于一个数据集来说，它的几何间隔的定义是所有实例中的最小值。）
||W||=1这个条件不太明确，我们通过函数间隔转换一下。（gamma = gammaHat/||W||）

前述提到过，(w,b)的比例变化不影响我们的分类结果，所以令gammaHat = 1.然后max(1/||W||)再转化成||W||^2/2,最后上述公式转换为

4 拉格朗日乘子

高数中有在给定条件下求取函数最大值的方法，这里我们介绍拉格朗日法。

对我们的优化问题运用拉格朗日乘法寻求问题的最优解。

限定条件的图形如下图所示。不等式代表的区域是两条虚线的向外延伸的距离。


对W求导，令等于0，解得W



将式9，10的结果代入到式8中



同样求解出最优的b

预测X，写成向量内积的形式

5 kernels核函数

我们使用一个函数将数据集中原有的特征映射到另外一个特征集上。因为我们的SVM可以写成向量内积的形式，所以核函数也写成内积的形式。


我们来看一个映射的例子。


我们看到的映射结果如下。将三维的特征映射到了高维。

计算我们的映射需要O(n^2)的时间，而计算K(x,z)则仅需O(n)的时间。

也就是说，使用核函数不仅能将特征映射到高维，还能有效地减少高维数据运算的代价。