svm 函数间隔与几何间隔的认识

在超平面$w\cdot x+b=0$确定的情况下，$|w\cdot x+b|$可以相对地表示点x距离超平面的远
近。对于两类分类问题，如果$w\cdot x+b>0$，则$x$的类别被判定为1；否则判定为-1。

所以如果$y(w\cdot x+b)>0$，则认为$x$的分类结果是正确的，否则是错误的。且$y(w\cdot x+b)$的值越大，分类结果的确信度越大。反之亦然。

---

解释函数间隔：

对于一个训练样本$(x^{(i)}, y^{(i)})$我们定义它到超平面$(w,b)$的函数间隔为:

$\hat{\gamma}=y^{(i)}(w^Tx^{(i)}+b)$

---

我们希望函数间隔越大越好, 即:

$\text{if} \quad y^{(i)}=1, \text{want} \quad w^Tx^{(i)}+b\gg0, \\ \text{if} \quad y^{(i)}=-1, \text{want} \quad w^Tx^{(i)}+b\ll0.$

并且有, 若$y^{(i)}(w^Tx^{(i)}+b)>0$则样本$(x^{(i)}, y^{(i)})$分类正确。

对于整个训练集, 我们的函数间隔定义为:

$\hat{\gamma}=\min_i\hat{\gamma}^{(i)}$

也就是说, 对于整个训练集来说, 函数间隔为所有样本中函数间隔最小的那个函数间隔.(判断性能当然是以最小的那个来确定啦）

---

那么问题又来了：

函数间隔越大, 代表我们对于分类的结果非常确定. 我们希望函数间隔越大越好. 看上去好像没什么毛病, 但这里的确有一个问题, 就是其实我们可以在不改变这个超平面的情况下可以让函数间隔任意大, 为什么?

---

只要我们成比增加$w$,$b$就可以达到这个目的了. 例如, 我们将
$w$变为$2w$, $b$变为$2b$, 那么我们的函数间隔将会是原来的两倍, 但是超平面$2w^Tx+2b=0$与$w^Tx+b=0$是一回事.

为了解决这个问题, 我们就需要加上一些限制条件,所以，需要将$w$的大小固定，如$||w||=1$，使得函数间隔固定。这时的间隔也就是几何间隔 .(看完后面几何间隔的定义就明白了）

---

解释几何间隔：

实际上，几何间隔就是点到超平面的距离。

---

想像下中学学习的点$(x_i, y_i)$到直线

$ax+by+c=0$的距离公式:

$d(x_i, y_i) = \frac{|ax_i+by_i+c|}{\sqrt{a^{2}+b^{2}}}$

所以在二维空间中，几何间隔就是点到直线的距离。在三维及以上空间中，就是点到超平面的距离。而函数距离，就是上述距离公式中的分子.

---

几何间隔的定义如下:

$\gamma^{(i)}=y^{(i)}(\frac{w^T}{\Vert w\Vert}x^{(i)}+\frac{b}{\Vert w\Vert})$

我们发现当$||w||=1$几何间隔就是函数间隔.这个时候, 如果任意放大$||w||$,几何间隔是不会改变的, 因为$||w||$也会随着被放大.

---

几何间隔与函数间隔的关系为:

$\gamma^{(i)}=\frac{\hat{\gamma}^{(i)}}{\Vert w\Vert}.$

定义训练集到超平面的最小几何间隔是:

$\gamma=\min_i\gamma^{(i)}$