分类器的设计（fisher准则函数设计俩个类别的分类器）

     

       设计线性分类器的主要步骤：

           （1） 要有一组有类别标志的样本集；

   （2)  要根据实际情况确定一个准则函数J ；（常用的准则函数有：fisher准则、感知准则等）

   （3） 用最优化技术求出极值解；

  

   fisher准则函数设计分类器的方法：

       由于高维空间往往会是某些解析和计算方法难以实现，而低维空间会给解析和计算工作带来很多的方便。所以降低维数就成为了解决实际问题的关键。如果要把样本模式在高（d）维的特征空间投影到一条直线上，实际上就是把特征空间压缩成一维，但是即使在高维空间里聚集成容易分开的群类，把他们投影到一条直线上，也可能把不同的样本混杂在一起而分辨不出来。因此直线方向的选择很重要。一般情况下总能某个最好的方向，使样本投影到这个方向的直线上最容易分得开。如何找到最好的直线方向以及实现最好方向投影的变换。正是fisher准则函数要解决的基本问题。

       定义几个重要的基本参量

       （1） 在D维的X空间

            【1】 各类样本均值向量

  ；（j=1,2)

           【2】样本类内离散度矩阵S_i与总类内离散度矩阵S_w

_；（i=1,2)

_{【3】样本类间离散度矩阵Sb}

_{（2） 在一维Y空间}

_{【1】各类样本的均值}

_{【2】样本类内离散度和总类内离散度}

_{这是要使类内离散度越小越好，因此定义fisher准则为：}

_{并求出此准则的最大值W*，查资料可得：}

_{到这时已经将D维空间的分类问题转化成一维空间分类问题。那么现在只需要确定一个阈值y0就可以做出决策 。}

_{比如说我们根据经验选取y0为:}

_或者或者

_{这样，对于给定的X ，计算出它在W*上的投影点y;}

_{再根据决策规则}

_{就可以分类了。。}