Fisher判别式（LDA）

Fisher判别式（LDA）

简介

上面从贝叶斯公式出发，得到了线性判别分析的公式，这里从另外一个角度来看线性判别分析，也就是常说的Fisher判别式。其实Fisher判别式就是线性判别分析（LDA），只是在讨论Fisher判别式的时候，更侧重于LDA的数据降维的能力。

 

在应用统计学方法解决模式识别、机器学习中的问题的时候，有一个问题总是会出现：维数问题。很多在低维空间里可以解析或者计算的算法，在高维空间里面往往行不通，因此，数据降维就成了处理实际问题中的关键。

 

单纯的从数学角度考虑，将dd维空间的数据压缩称为1维的数据是非常的容易的。然而，即便样本集合在dd维空间里形成若干紧凑的相互分得开的集合，当把它们投影到某一个直线上的时候，就可能使得这些样本混合在一起无法分别开来。但，在实践中发现，总可以找到某个方向，使得在这个方向的直线上，样本的投影能分开的最好。那么，现在的问题就是，如何根据实际情况找到这条最好的、最容易分类的投影线。这就是线性判别分析（Linear Discriminant Analysis）所要解决的基本问题，线性判别分析在很多时候，也叫做 Fisher’s linear discriminant（Fisher线性判别式）。准确的说，它是在Fisher线性判别式基础上的一个推广。

 

线性判别分析的基本思想，是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性，因此，它是一种有效的特征抽取方法。

 

在上面关于线性判别分析的说明中提到，投影后的样本在新的空间需要有最大的类间距离和最小的类内距离。那么，什么是类间距离？什么又是类内距离？线性判别分析又是如何在最大化类间距离的同时最小化类内距离？回答完了这三个问题，就基本上能对线性判别分析有一个基本的了解了。

类间距离

对于线性分类器，有一种观点就是将线性分类器看成是一个降维的操作。这里首先考虑二分类的问题，假设输入向量x是D维的，并使用下面这个变换，将x投影到一个一维的数据y上：