判别函数（七）势函数法

目的
用势函数的概念来确定判别函数和划分类别界面。
基本思想

假设要划分属于两种类别ω1和ω2的模式样本，这些样本可看成是分布在n维模式空间中的点xk。把属于ω1的点比拟为某种能源点，在点上，电位达到峰值。随着与该点距离的增大，电位分布迅速减小，即把样本xk附近空间x点上的电位分布，看成是一个势函数K(x, xk)。对于属于ω1的样本集群，其附近空间会形成一个“高地”，这些样本点所处的位置就是“山头”。同理，用电位的几何分布来看待属于ω2的模式样本，在其附近空间就形成“凹地”。只要在两类电位分布之间选择合适的等高线，就可以认为是模式分类的判别函数。

模式分类的判别函数可由分布在模式空间中的许多样本向量{xk, k=1,2,…且  }的势函数产生。 任意一个样本所产生的势函数以K(x, xk)表征，则判别函数d(x)可由势函数序列K(x, x1)， K(x, x2)，…来构成，序列中的这些势函数相应于在训练过程中输入机器的训练模式样本x1，x2，…。在训练状态，模式样本逐个输入分类器，分类器就连续计算相应的势函数，在第k步迭代时的积累位势决定于在该步前所有的单独势函数的累加。以K(x)表示积累位势函数，若加入的训练样本xk+1是错误分类，则积累函数需要修改，若是正确分类，则不变。

从势函数可以看出，积累位势起着判别函数的作用，当xk+1属于ω1时，Kk(xk+1)>0；当xk+1属于ω2时，Kk(xk+1)<0，则积累位势不做任何修改就可用作判别函数。由于一个模式样本的错误分类可造成积累位势在训练时的变化，因此势函数算法提供了确定ω1和ω2两类判别函数的迭代过程。判别函数表达式：取d(x)=K(x)，则有：dk+1(x)= dk(x)+rk+1K(x, xk+1 )

判别函数产生逐步分析：
设初始势函数K0(x) = 0
第一步：加入第一个训练样本x1，则有

 

这里第一步积累势函数K1(x)描述了加入第一个样本时的边界划分。当样本属于ω1时，势函数为正；当样本属于ω2时，势函数为负。
第二步：加入第二个训练样本x2，则有
（i） 若且K1(x2)>0，或 且K1(x2)<0，则分类正确，此时K2(x) = K1(x)，即积累势函数不变。
（ii） 若且K1(x2)<0，则

 

（iii） 若且K1(x2)>0，则

 

以上（ii）、（iii）两种情况属于错分。假如x2处于K1(x)定义的边界的错误一侧，则当时，积累位势K2(x)要加K(x, x2)，当 时，积累位势K2(x)要减K(x, x2)。
第K步：设Kk(x)为加入训练样本x1，x2，…，xk后的积累位势，则加入第(k+1)个样本时，Kk+1(x)决定如下：
（i） 若且Kk(xk+1)>0，或 且Kk(xk+1)<0，则分类正确，此时Kk+1(x) = Kk(x)，即积累位势不变。
（ii） 若且Kk(xk+1)<0，则 

（iii） 若且Kk(xk+1)>0，则 

因此，积累位势的迭代运算可写成： ，rk+1为校正系数：

 

若从给定的训练样本集{x1, x2, …, xk, …}中去除不使积累位势发生变化的样本，即使Kj(xj+1)>0且，或Kj(xj+1)<0且的那些样本，则可得一简化的样本序列，它们完全是校正错误的样本。此时，上述迭代公式可归纳为：

 

其中

 

也就是说，由k+1个训练样本产生的积累位势，等于ω1类和ω2类两者中的校正错误样本的总位势之差。 选择势函数的条件：一般来说，若两个n维向量x和xk的函数K(x, xk)同时满足下列三个条件，则可作为势函数。 K(x, xk)= K(xk, x)， 并且当且仅当x=xk时达到最大值； 当向量x与xk的距离趋于无穷时，K(x, xk)趋于零； K(x, xk)是光滑函数，且是x与xk之间距离的单 调下降函数。

构成势函数的两种方式：

第一类势函数： 可用对称的有限多项式展开，即：

其中{ }在模式定义域内为正交函数集。将这类势函数代入判别函数，有：

得迭代关系：

其中：

 
因此，积累位势可写成： ，Ci可用迭代式求得。


第二类势函数： 选择双变量x和xk的对称函数作为势函数，即K(x, xk) = K(xk, x)，并且它可展开成无穷级数，例如：

(a)  

(b)     ，α是正常数

(c)  

 用第二类势函数，当训练样本维数和数目都较高时，需要计算和存储的指数项较多。正因为势函数由许多新项组成，因此有很强的

分类能力。