线性判别分析(Linear Discriminant Analysis, LDA）算法分析

LDA算法入门

 

一． LDA算法概述：

线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引入模式识别和人工智能领域的。性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。因此，它是一种有效的特征抽取方法。使用这种方法能够使投影后模式样本的类间散布矩阵最大，并且同时类内散布矩阵最小。就是说，它能够保证投影后模式样本在新的空间中有最小的类内距离和最大的类间距离，即模式在该空间中有最佳的可分离性。

二． LDA假设以及符号说明：

假设对于一个空间有m个样本分别为x1,x2,……xm 即 每个x是一个n行的矩阵，其中表示属于i类的样本个数，假设有一个有c个类，则。

………………………………………………………………………… 类间离散度矩阵

………………………………………………………………………… 类内离散度矩阵

………………………………………………………………………… 属于i类的样本个数

 …………………………………………………………………………… 第i个样本

 …………………………………………………………………………… 所有样本的均值

 …………………………………………………………………………… 类i的样本均值

 

 

 

 

三． 公式推导，算法形式化描述

根据符号说明可得类i的样本均值为：

 …………………………………………………………………… （1）

同理我们也可以得到总体样本均值：

………………………………………………………………………… （2）

根据类间离散度矩阵和类内离散度矩阵定义，可以得到如下式子：

  ……………………………………………… （3）

…………………………………… （4）

当然还有另一种类间类内的离散度矩阵表达方式：

其中是指i类样本的先验概率，即样本中属于i类的概率（），把代入第二组式子中，我们可以发现第一组式子只是比第二组式子都少乘了1/m，我们将在稍后进行讨论，其实对于乘不乘该1/m，对于算法本身并没有影响，现在我们分析一下算