函数间隔和几何间隔

在做分类时，通常希望用一条直线来将所有的样本分开，如图所示，这条直线就相当于一个超平面。

 

这条直线可以认为是一个超平面，其函数为，f(x)可以 取1 或者-1，用(w,b)表示，表示为b，表示为w。

定义函数间隔（用表示）为：

 

                                                                                               

    所有的样本集合(xi，yi)的函数间隔最小值（其中，x是特征，y是结果标签，i表示第i个样本），便为超平面(w, b)关于训练数据集T的函数间隔：

                 =mini (i=1，...n)

 

基于参数（w,b）的这个数据案例的函数间隔为：

在给定的整个训练数据集上，函数间隔为:

假定对于一个点 x ，令其垂直投影到超平面上的对应点为 x0 ，w 是垂直于超平面的一个向量，为样本x到超平面的距离，如下图所示：

    根据平面几何知识，有

    其中||w||为w的二阶范数（范数是一个类似于模的表示长度的概念），是单位向量（一个向量除以它的模称之为单位向量）。

根据和，即可算出： 

γ

  为了得到的绝对值，令乘上对应的类别 y，即可得出几何间隔（用表示）的定义：

几何间隔就是函数间隔除以||w||，而且函数间隔y*(wx+b) = y*f(x)实际上就是|f(x)|，而几何间隔|f(x)|/||w||才是直观上的点到超平面的距离。