模式识别与机器学习第三章

一、线性判别函数

1.两类问题的判别函数

若这些属于ω1和ω2两类的模式可用一个直线方程 d(x)=0 来划分，d(x) = w1x1 + w2x2 + w3 = 0

d(x)称为两类模式的判别函数；d(x)=0 称为决策面/判别界面方程。

用判别函数进行模式分类依赖的两个因素：（1）判别函数的几何性质：线性的和非线性的函数。（2）判别函数的系数：判别函数的形式确定后，主要就是确定判别函数的系数问题。

2.n维线性判别函数的一般形式

3.多类情况的划分

多类情况1（两分法）

        要分开 M 类模式，共需 M 个判别函数。每一个判别函数都要把一种类别的模式与其余M-1种类别的模式分开，而不是将一种类别的模式仅与另一种类别的模式分开。

分类情况2

        要分开 M 类模式，共需 M(M-1)/2 个判别函数。

 多类情况 3

        该分类的特点是把 M 类情况分成 M-1 个两类问题。

二、广义线性判别函数

1.描述

2.fi(x)选用r次多项式函数， x是n维的情况

 3.最小距离分类

         设 μ1和 μ2为两个模式类ω1和ω2的聚类中心，定义决策规则：

        这时的决策面是两类期望连线的垂直平分面，这样的分类器称为最小距离分类器。

三、模式空间和权向量

1.模式空间

        增广向量决定的平面 非增广向量决定的直线

 2.权空间

3.Fisher线性判别

1.基本参量

 2.Fisher 准则函数

3.最佳变换向量 w*的求取

 四、感知器算法

感知器训练算法

        实质上是一种赏罚过程，

五、可训练的确定性分类器的迭代算法

1.梯度法

        定义一个对错误分类敏感的准则函数J(w, x)。先任选一个初始权向量w(1)，计算准则函数J的梯度，然后从w(1)出发，在最陡方向（梯度方向）上移动某一距离得到下一个权向量w(2) 。

2.固定增量的逐次调整算法

        设已由前一步迭代得到w(k)的值。 读入模式样本xk，判别wT(k)xk是否大于0。在示意图中，xk界定的判别界面为wT(k)xk=0。当w(k)在判别界面的负区域时， wT(k)xk<0。 校正： w(k+1)= w(k)+ xk ，这里取C=1。 校正后， w(k+1)向量比w(k)向量更接近于模式xk所决定的正区域。

3.最小平方误差(LMSE)算法

1.分类器的不等式方程

 

2.H-K 算法

        H-K 算法是求解 Xw = b ，式中 b =( b 1 , b 2 , …, b N ) T ， b 的所有分量都是正值。已知 X 不是 N* N 的方阵，通常是行多于列的 N*( n+1)阶的长方阵，属于超定方程， 可求其线性最小二乘解。

 

 

 

 3.模式类别可分性的判别

 

 4.势函数

 1.判别函数的产生

        模式分类的判别函数可由分布在模式空间中的许多样本向量的势函数产生。任意一个样本所产生的势函数以K(x,xk)表征，则判别函数d(x)可由势函数序列来构成，序列中的这些势函数相应于在训练过程中输入机器的训练模式样本。在训练状态，模式样本逐个输入分类器，在第k布迭代时的积累位势决定于在该步前所有的单独势函数的累加。以K(x)表示积累位势函数，若加入的训练样本是错误分类，则积累势函数要修改；若正确分类，则不变。

 2.判别函数产生逐步分析

 

 3.势函数的产生

         一般来说，若两个n维向量x和xk的函数K(x, xk)同时满足下列三个条件，则可作为势函数

• K(x, xk)=K(xk, x)，并且当且仅当x= xk时达到最大值；
• 当向量x与xk的距离趋于无穷时，K(x, xk)趋于零；
• K(x, xk)是光滑函数，且是x与xk之间距离的单调下降函数。

        第一类势函数：可用对称的有限多项式展开，即

 

        第二类势函数：选择双变量 x 和 x k 的对称函数作为势函数，即 K ( x , x k ) = K ( x k , x ) ，并且它可展开成无穷级数。

 

 4.决策树（分级形式）

        决策树，或称多级分类器，是模式识别中进行分类的一种有效方法，对于多类或多峰分布问题，这种方法尤为方便。

        对于一个未知样本x，只要从根节点到叶结点，顺序把x的某个特征观测值与相应的阈值相比较，就可做出决策，把x分到相应的分支，最后分到合适的类别中去。

        一个性能良好的决策树结构应该具有小的错误率和低的决策代价。