Andrew NG机器学习课程笔记（七）

最优间隔分类器
回想前面我们提到我们的目标是寻找一个超平面，使得离超平面比较近的点能有更大的间距。也就是我们不考虑所有的点都必须远离超平面，我们关心求得的超平面能够让所有点

中离它最近的点具有最大间距。形象的说，我们将上面的图看作是一张纸，我们要找一条折线，按照这条折线折叠后，离折线最近的点的间距比其他折线都要大。形式化表示为： 

这里用||w||=1规约w，使得wTx+b是几何间隔。 到此，我们已经将模型定义出来了。如果求得了w和b，那么来一个特征x，我们就能够分类了，称为最优间隔分类器。接下的问题就是如何求解w和b的问题了。由于||w||=1不是凸函数，我们想先处理转化一下，考虑几何间隔和函数间隔的关系，γ=γ^/||w||，我们改写一下上面的式子： 

这时候其实我们求的最大值仍然是几何间隔，只不过此时的w不受||w||=1的约束了。然而这个时候目标函数仍然不是凸函数，没法直接代入优化软件里计算。我们还要改写。前面说到同时扩大w和b对结果没有影响，但我们最后要求的仍然是w和b的确定值，不是他们的一组倍数值，因此，我们需要对γ^做一些限制，以保证我们解是唯一的。这里为了简便我们取γ^=1。这样的意义是将全局的函数间隔定义为1，也即是将离超平面最近的点的距离定义为1||w||。由于求
1||w||的最大值相当于求1/2||w||^2的最小值，因此改写后结果为：

这下好了，只有线性约束了，而且是个典型的二次规划问题（目标函数是自变量的二次函数）。代入优化软件可解。 
到这里发现，这个讲义虽然没