Fisher判别是一种应用极为广泛的线性分类的方法,基本思想是:把维空间的所有模式投影到一条过原点的直线上,即将模式的维数压缩到一维,并要求统一类型的样本尽可能多地聚集在一起,不同类型的样本尽可能地分开。
如下图所示,两类模式的分布,它们的投影不论在或轴上都是混杂的,因此单纯取它们在或轴上的投影式不好分类的。但是,有可能存在一条直线AB,使得样本在它上面的投影很容易分开。
设给定两类模式的样本集和,它们有和个维的样本。我们的目标就是找到一条直线,使得模式样本在这条直线上的投影最有利于分类。设为这条直线正方向的单位向量,即,于是有和到直线的投影得到相应的集合和,其中每个就是