机器学习数学理论-几何距离和函数距离（感知机算法、SVM算法）

1.在分类问题中，如果超平面确定时，可以相对的表示点x距离超平面的远近(一种假设)，而且当              表示分为正类，当 表示分为负类(这样的表示可以类比于(x,y)平面中y=x直线以下的是y<x,直线以上的是y>x)。

2.故对于上面的假定，当 时表示分类正确，当 时表示分类错误，   其中越大，表示分类结果的确信度越大，所以我们可以将之定义为函数距离，表示分类结果的确信效果，公式如下，注意y只是分类，不是特征面的坐标。

3.但函数间隔存在问题，当w和b同时缩小或放大M倍后，超平面并没有变化，但是函数间隔却变化了。所以，需要将w的大小固定，如||w||=1，使得函数间隔固定。这时的间隔也就是几何间隔 。

几何间隔的公式如下，而且实际上几何间隔本身就是点到超平面的距离(后有证明)。

                        

4.证明过程如下图，求点 到超平面距离的思路是从先假设出在超平面上的投影点 ,从而假定出向量 ,向量的模就是要求的距离。

我们以w和 平行为思路，构建下面的式子，并由式子关系求出假定的距离d。