势函数

可以用势函数来确定非线性的判别函数。
基本思想：
假设需要划分属于${\omega }_1$和${\omega }_2$的模式样本。把属于${\omega }_1$的点比拟为能源点，在该点上电位达到峰值，随着与该点距离的增大，电位分布减小，即把样本${\mathbf{x}}_k$附近空间上的$\mathbf{x}$电位分布看成一个势函数$k(\mathbf{x},{\mathbf{x}}_{\mathbf{k}})$。于是，对于属于${\omega }_1$的样本集群，其附近空间会形成高地，而样本点的位置就是山头；相对的，属于${\omega }_2$的样本，其周围会形成凹地。只要在两类电位分布之间选择合适的等高线，就可以认为是模式分类的判别函数。

判别函数的产生：
任意一个${\mathbf{x}}_{\mathbf{k}}$样本所产生的的势函数以$k(\mathbf{x},{\mathbf{x}}_{\mathbf{k}})$表征，判别函数$d(\mathbf{x})$是由势函数序列$k(\mathbf{x},{\mathbf{x}}_1)$,$k(\mathbf{x},{\mathbf{x}}_2),...$构成，对应训练样本${\mathbf{x}}_1,{\mathbf{x}}_2$。在训练状态，模式样本逐个输入分类器，第$t+1$步迭代时的积累位势函数$K_{t+1}(\mathbf{x})$决定于前$t$步势函数的累加$K_t(\mathbf{x})$:
当加入第$t+1$个样本时，
（1）若${\mathbf{x}}_{t+1}\in {\omega }_1$且$K_t({\mathbf{x}}_{t+1})>0$,或${\mathbf{x}}_{t+1}\in {\omega }_2$且$K_t({\mathbf{x}}_{t+1})<0$时，则分类正确，此时$K_{t+1}(\mathbf{x})=K_t(\mathbf{x})$
(2)若${\mathbf{x}}_{t+1}\in {\omega }_1$且$K_t({\mathbf{x}}_{t+1})<0$,则$K_{t+1}(\mathbf{x})=K_t(\mathbf{x})+k(\mathbf{x},{\mathbf{x}}_{t+1})$
(3)若${\mathbf{x}}_{t+1}\in {\omega }_2$且$K_t({\mathbf{x}}_{t+1})>0$,则$K_{t+1}(\mathbf{x})=K_t(\mathbf{x})-k(\mathbf{x},{\mathbf{x}}_{t+1})$

势函数的选择：
有如下三个条件：
（1）$K(\mathbf{x},{\mathbf{x}}_{\mathbf{k}})=K(\mathbf{x}{,}_{\mathbf{k}}\mathbf{x})$,当$\mathbf{x}={\mathbf{x}}_{\mathbf{k}}$时达到最大值。
（2）当向量$\mathbf{x}$与${\mathbf{x}}_k$的距离趋于无穷时，$K(\mathbf{x},{\mathbf{x}}_{\mathbf{k}})$趋于0.
（3）$K(\mathbf{x},{\mathbf{x}}_{\mathbf{k}})$是光滑函数，且是$\mathbf{x}$与${\mathbf{x}}_k$之间距离的单调下降函数。
可以选择双变量$\mathbf{x}$与${\mathbf{x}}_k$的对称函数作为势函数，即$K(\mathbf{x},{\mathbf{x}}_{\mathbf{k}})=K({\mathbf{x}}_{\mathbf{k}},\mathbf{x})$，并且可展开为无穷级数，此为第二类势函数，例如：$$K(\mathbf{x},{\mathbf{x}}_{\mathbf{k}})={\exp }^{-\alpha ||\mathbf{x}-{\mathbf{x}}_{\mathbf{k}}|{|}^2}$$

实例

ω 1 : { ( 0 , 0 ) T , ( 2 , 0 ) T } \omega_{1}:\{(0,0)^{T},(2,0)^{T}\} ω1​:{(0,0)T,(2,0)T} ω 2 : { ( 1 , 1 ) T , ( 1 , − 1 ) T } \omega_{2}:\{(1,1)^{T},(1,-1)^{T}\} ω2​:{(1,1)T,(1,−1)T}
用势函数在上述线性不可分的情况下进行分类：$K(\mathbf{x},{\mathbf{x}}_{\mathbf{k}})={\exp }^{-\alpha ||\mathbf{x}-{\mathbf{x}}_{\mathbf{k}}|{|}^2}$。