感知机学习中的基本量计算（有向距离、投影、W的方向）

见上图，设分界线两侧的X和X’，画出其到W的投影Y和Y‘。

要求证明：X和X’与W的投影值减去 ，其结果的正负值各不相同。 为原点到分界面的距离。

证明：

一、几个量的计算：

1.任意点X到W的投影：

由于向量a在向量b上的投影的计算为

因此：X到W上的投影为：

X’到W上的投影为

2. 为分界面上某点X0到W的投影：

由于： ，因此：

二：若X与X’在分界线两侧，则必定有它们落在W上的投影点y与y’，分别位于y0’两侧。

分两种情况讨论：

（1）如果设：X在W上的投影>，那么必定有：X‘在W上的投影<。

即：

因此有：

同时有：

因此有：

因此有： 和 异号；

（2）如果设：X在W上的投影<，那么必定有：X‘在W上的投影>。

即：

因此有：

同时有：

因此有：

因此有： 和 异号；

讨论：

1.所谓X到分界面的有向距离，实质是X到W的投影与 的差值。

2.同一个分界线，可以有两种反向的W，它们对同一个X分类结果恰好相反。

假设数据两个维度；且分界线过原点：

对于W(1,-1)：f(W,X)=x1-x2+0=0;

对于：W’(-1, 1)：f(W’, X)=-x1+x2+0=0;

两个分界线是等价的。

但是，不同的W将X分为正好相反的两个类。

例如对于X（-2，2），

f(W, X)=1*(-2)+(-1)*2=-4，被分为-1类；

f(W’,X)=-1*(-2)+1*2=4，被分为+1类。