设计线性分类器的主要步骤:
(1) 要有一组有类别标志的样本集;
(2) 要根据实际情况确定一个准则函数J ;(常用的准则函数有:fisher准则、感知准则等)
(3) 用最优化技术求出极值解;
fisher准则函数设计分类器的方法:
由于高维空间往往会是某些解析和计算方法难以实现,而低维空间会给解析和计算工作带来很多的方便。所以降低维数就成为了解决实际问题的关键。如果要把样本模式在高(d)维的特征空间投影到一条直线上,实际上就是把特征空间压缩成一维,但是即使在高维空间里聚集成容易分开的群类,把他们投影到一条直线上,也可能把不同的样本混杂在一起而分辨不出来。因此直线方向的选择很重要。一般情况下总能某个最好的方向,使样本投影到这个方向的直线上最容易分得开。如何找到最好的直线方向以及实现最好方向投影的变换。正是fisher准则函数要解决的基本问题。
定义几个重要的基本参量
(1) 在D维的X空间
【1】 各类样本均值向量
;(j=1,2)
【2】样本类内离散度矩阵Si与总类内离散度矩阵Sw
;(i=1,2)
【3】样本类间离散度矩阵Sb
(2) 在一维Y空间
【1】各类样本的均值
【2】样本类内离散度和总类内离散度
这是要使类内离散度越小越好,因此定义fisher准则为:
并求出此准则的最大值W*,查资料可得:
到这时已经将D维空间的分类问题转化成一维空间分类问题。那么现在只需要确定一个阈值y0就可以做出决策 。
比如说我们根据经验选取y0为:
或者或者
这样,对于给定的X ,计算出它在W*上的投影点y;
再根据决策规则
就可以分类了。。