LDA( 线性判别分析)

定义：

        1. LDA 线性判别式分析（Linear Discriminant Analysis），也称为Fisher线性判别（Fisher Linear Discriminant，FLD）。

 

基本思想：

        将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。LDA一个例子如下：

        

          可以看到两个类别，一个绿色类别，一个红色类别。左图是两个类别的原始数据，现在要求将数据从二维降维到一维。直接投影到x1轴或者x2轴，不同类别之间会有重复，导致分类效果下降。右图映射到的直线就是用LDA方法计算得到的，可以看到，红色类别和绿色类别在映射之后之间的距离是最大的，而且每个类别内部点的离散程度是最小的（聚集程度是最大的）。

 

LDA计算过程（两个类别）

         现在要找到一个向量w，将数据x投影到w上去之后，得到新的数据y。

        第一，为了实现投影后的两个类别的距离较远，用映射后两个类别的均值差的绝对值来度量。

        第二，为了实现投影后，每个类内部数据点比较聚集，用投影后每个类别的方差来度量。

        类别i的均值：