线性判别分析（Linear Discriminant Analysis, LDA） 算法分析与代码

1． 算法描述
LDA是一种特征降维算法，目前的工作在使用SVM分类的时候，遇到特征维数过大而导致过拟合的问题，所以希望通过LDA算法降低特征维度，解决过拟合的问题。LDA算法的目的是使得样本在投影后的子空间中保持最大的类间距离和最小的类内距离。

2． 公式推导
首先计算类内样本均值和类间样本均值：


然后得到类间离散度矩阵和类内离散度矩阵：


通过fisher线性鉴别器分析，选取的投影矩阵为：

即：

投影矩阵即取列向量为d个最大特征值对应的特征向量的组合。

3． 代码解释

functi