机器学习中的超平面

一、仿射空间

（1）直线——1维仿射空间

给定n维的空间中，一条直线是方向向量v以及直线上的一点P决定。如下图所示：

图1：line figure illustration

 

因此直线方程如下所示，其中i表示直线上任一点，t表示标量。

                                                                                                          i=t*v+P

注意，始终的i，v，p均为n维空间的点，即n维空间向量。

 （2）平面——2维仿射空间

给定n维空间，空间中的一个平面是由空间上的一点P和平面上两个线性无关的向量v,w（可通过线性组合得到该平面中的任意向量）,如下图所示：

图2：plane figure illustration

 

因此平面方程如下式所示，其中i表示平面中的任意一点，s,t表示标量：

                                                        i=t*v+s*w+P

(3) k维仿射空间

由（1），（2）中推广，给定的n维空间中，k维仿射空间由空间中的一点P和k个线性无关的向量v1,v2,v3,...,vk决定,

k维仿射空间的方程如下所示，其中i表示k维仿射空间中的任意一点，t1,t2,..,tk表示标量：

                                  i=t1*v1+t2*v2+...+tk*vk+P

因此，可以看到，空间中的一条直线是一个1维仿射空间，一个平面是一个2维仿射空间。

 

二 超平面

（1）二维空间中的超平面

假设二维空间中的点集i=(x2,x2),满足下式,其中a,b,c为标量，且a,b不同时为0：

                                                 ax1+bx2+c=0

令t=x1,则点集i可以表示为：

                                  i=(x1,x2)=(t,-at/b-c/b)=t(1,-a/b)+(0,-c/b)

由上式可知道，这表示的是方向向量为（1，-a/b),并经过（0，-c/b)的直线。

记向量n=(a,b),则

                                                         n*i+c=0

记直线上另一点为P=(p1,p2),则

                                                                        n*(i-P)=0

可以看出，n是直线的法向量。

（2）N维空间的超平面

在给定的N维空间中，超平面由空间中的一点P和一个向量n决定，超平面方程如下:

                                                         n*(i-P)=0

其中i表示超平面上的任意一点。

i,n,p均为N维向量。n为超平面的法向量。若i=(i1,i2,..,iN),n=(n1,n2,..,nN),p=(p1,p2,..pN),则超平面方程可以表示成：

                             n1*i1+n2*i2+...nN*iN+d=0

其中

                                        d=-n*P

按照上述定义，二维空间的超平面是一条直线，三维空间的超平面是一个平面，而N维空间的超平面则是N-1维的仿射空间。

Rn

（3）超平面性质

超平面将空间分成两部分，一部分大于0，一部分小于0。

空间中任意一点到超平面的距离计算：

记n是超平面的法向量，P是超平面上的一点，而Q是超平面外的一点，计算Q到超平面的距离：

                         d=|(Q-P)*n|/|n|

                          =|(n*Q+d)|/|n|