前文提到,Fisher判别器的设计一般分两步,一是确定最优的投影方向,二是在投影方向上确定阈权值。而感知器则是一种直接得到完整的线性判别函数 g(x)=ωTx+ω0 的方法。所以从某种意义上讲,感知器模型是Fisher判别的一种改进。了解神经网络的人也都知道,感知器是神经网络的基础。
首先将线性判别函数齐次化:
设 y=[1,x]T , α=[ω0,ω]T ,则
g(x)=ωTx+ω0=αTy
对于两类的情况,设 Γ={ y1,y2,...,yd} 为增广样本向量,那么决策规则则为:
如果g(y)>0,则y∈ω1;如果g(y)<0,则y∈ω2
接下来明确几个概念:
线性可分性:存在一个 α ,使所有样本能够被正确分类。即存在一个超平面能正确地将两个样本分开。
解向量