感知器算法

1.判别函数
统计模式识别分为聚类分析法和判决函数法，其中判决函数法又包括几何分类法（确定性时间分类，线性，非线性）以及概率分类法（随机事件分类）。
判别函数即用来对模式进行分类的准则函数。

2．线性判别函数
n维线性判别函数的一般形式为：

其中X，W不包含最后一项常数项

：权向量，解向量，即参数向量
增广向量就把最后一项加进去，

W加一个Wn+1,X加一个1
这里有一个多类情况：
1）
：
用线性判别函数将属于ωi类的模式与其余不属于ωi类的模式分开。将某个待分类模式 X 分别代入 M 个类的d (X)中，若只有di(X)>0，其他d(X)均<0，则判为ωi类。对某一模式区，di(X)>0的条件超过一个，或全部
的di(X)<0 ，分类失效。相当于不确定区(indefiniteregion ，IR)。
2）
：
在 M 类模式中，与i 有关的M-1个判决函数全为正时，X∈ωi。其中若有一个为负，则为IR区。

3.广义线性判别函数
通过某映射，把模式空间X变成X*，以便将X空间中非线性可分的模式集，变成在X*空间中线性可分的模式集。

4.线性判别函数的几何性质
模式空间：以n维模式向量X的n个分量为坐标变量的欧氏空间。
模式向量的表示：点、有向线段。
线性分类：用d(X)进行分类，相当于用超平面d(X)=0把模式空间分成不同的决策区域。

5.感知器算法
只要求出权向量，分类器的设计即告完成。利用已知类别的模式样本训练出权向量W。
训练：用已知类别的模式样本指导机器对分类规则进行反复修改，最终使分类结果与已知类别信息完全相同的过程。
感知器：对一种分类学习机模型的称呼，属于有关机器学习的仿生学领域中的问题，由于无法实现非线性分类而下马。但“赏罚概念（ reward-punishment concept）” 得到广泛应用。

对样本进行规范化处理，即ω2类样本全部乘以(－1)，则有：
感知器算法通过对已知类别的训练样本集的学习，寻找一个满足上式的权向量。

感知器算法步骤：
（1） 选择N个分属于ω1和 ω2类的模式样本构成训练样本集{ X1, …, XN }构成增广向量形式，并进行规范化处理，一类每个向量变成增广加1，二类每个乘以-1再加-1。任取权向量初始值W(1)（eg=（0，0，0）），c=1开始迭代。迭代次数k=1。
（2） 用全部训练样本进行一轮迭代，计算WT(k)Xi 的值，并修正权向量分两种情况，更新权向量的值：

分类器对第i个模式做了错误分类，权向量校正为
，其中c：正的校正增量，取1。

分类正确，权向量不变

统一为：

（3） 分析分类结果：只要有一个错误分类，回到（2），直至对所有样本正确分类
感知器算法是一种赏罚过程：
分类正确时，对权向量“赏”——这里用“不罚”，即权向量不变；
分类错误时，对权向量“罚”——对其修改，向正确的方向转换。
收敛性：经过算法的有限次迭代运算后，求出了一个使所有样本都能正确分类的W，则称算法是收敛的。
当c、W(1)取其他