机器学习与模式识别第三章：判别函数

在很多实际问题中，由于样本特征空间的类条件概率密度的形式常常很难确定，利用非参数方法估计需要很大的样本空间，而且随着特征空间位数的增加所需的样本数急剧增加，因此在实际问题中，我们往往不确定某个判别函数类，然后利用样本集确定出判别函数中的未知参数。

线性判别

线性判别函数法是一种较为简单的判别函数，最简单的是线性函数，它的分界面是超平面，采用线性判别函数所产生的错误率或风险虽然可能比贝叶斯分类器来的大，但是他简单，容易实现，而且需要的计算量和存储量小。因此可以认为线性判别函数是统计模式识别的基本方法之一。

1. 模式识别系统的主要作用 ，判别各个模式所属的类别，对一个两类问题的判别，就是将模式x划分成ω1和ω2两类。
2. 用判别函数分类的概念 两类问题的判别函数（以二维模式样本为例）
   若x是二维模式样本x = (x1 x2)T，用x1和x2作为坐标分量，得到模式的平面图：
   
   这时，若这些分属于ω1和ω2两类的模式可用一个直线方程d(x)=0来划分
   d(x) = w1x1 + w2x2 + w3 = 0
   其中x1、x2为坐标变量，w1、w2、w3为参数方程，则将一个不知类别的模式代入d(x)，有

• 若d(x) > 0，则x属于w1
• 若d(x) < 0，则x属于w2
  此时，d(x)=0称为判别函数。

3. 用判别函数进行模式分类依赖的两个因素
   用判别函数进行模式分类依赖的两个因素
   （1）判别函数的几何性质：线性的和非线性的函数。
   线性的是一条直线；
   非线性的可以是曲线、折线等；
   线性判别函数建立起来比较简单（实际应用较多）；
   非线性判别函数建立起来比较复杂。
   （2）判别函数的系数：判别函数的形式确定后，主要就是确定判别函数的系数问题。
   只要被研究的模式是可分的，就能用给定的模式样本集来确定判别函数的系数。

4. n维线性判别函数的一般形式