此方法可用于非线性可分情况,也可用于线性可分情况。
位势函数的概念:
位势为0的等位线——判决界面(判别函数)对于两类问题w1,w2,认为
如果xw1,则x 带正电荷
如果xw2,则x 带负电荷
将上述分类思想数学化,需定义点处的位势函数,它应该满足:
- =
- 是连续光滑函数
- 是与之间距离的单值单调下降函数。当且仅当x=时,达到最大值。当x与之间的距离趋于无穷大时,趋于零。
两类位势函数
第一类位势函数。设是x定义域中的完备正交函数集,位势函数取为
这是对称的有限项多项式。
第二类位势函数。取关于x和的距离的对称函数作位势函数,这类函数通常称为径向基函数(RBF),例如:
其中,为常数,其作用是控制位势函数衰减的速度。当类间的界面越复杂时,的选择应该使位势函数衰减得越快。
由位势函数产生判别函数的训练算法及分类规则
设训练模式集为{},它们分属类和类。定义一个位势函数。
1.初始化。令特征空间中各点处的初始积累位势函数=0,判错计数m=0。
2.令j=1,输入训练模式,使积累位势函数
3.令j=j+1,输入,计算积累位势函数
积累位势函数的调整规则为
4.如果j<N,返回第3步。如果j=N,检查是否有模式判错;若m=0,则结束。;若m≠0,令j=0,m=0返回第三步。