1.2 函数间隔和几何间隔理解2

转载地址： https://www.zhihu.com/question/20466147

SVM是通过超平面将样本分为两类。

在超平面  w*x + b = 0  确定的情况下，| w*x + b | 可以相对地表示点x距离超平面的远近。

对于两类分类问题，如果 w*x + b > 0，则的类别被判定为1；否则判定为-1。

所以如果 y * (  w*x + b ) > 0，则认为x的分类结果是正确的，否则是错误的。且  y * (  w*x + b ) 的值越

大，分类结果的确信度越大。反之亦然。

所以样本点 ( Xi , Yi ) 与超平面 ( w,b) 之间的函数间隔定义为

但是该定义存在问题：即 w 和 b 同时缩小或放大M倍后，超平面并没有变化，但是函数间隔却变化

了。所以，需要将 w 的大小固定，如 || w || = 1，使得函数间隔固定。这时的间隔也就是几何间隔 。

几何间隔的定义如下

实际上，几何间隔就是点到超平面的距离。想像下中学学习的点( Xi, Yi ) 到直线ax+by+c=0的距离公式

所以在二维空间中，几何间隔就是点到直线的距离。在三维及以上空间中，就是点到超平面的距

离。而函数距离，就是上述距离公式中的分子，即未归一化的距离。

定义训练集到超平面的最小几何间隔是

SVM训练分类器的方法是寻找到超平面，使正负样本在超平面的两侧，且样本到超平面的几何间隔最大。
所以SVM可以表述为求解下列优化问题