经典线性降维算法—线性判别分析

与PCA降维不同，LDA是有监督的降维，它的基本思想就是利用类标信息找到子空间S，将数据映射到S中后，不同类别的数据尽量远离，相同类别的数据尽量接近。

与PCA类似，LDA利用方差作为指标来衡量数据在投影方向上的差异程度。 协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。而协方差描述了向量之间的相关程度。协方差的公式和方差十分相近，甚至可以说方差是协方差的一种特例。所以协方差不仅是反映了变量之间的相关性，同样反映了多维样本分布的离散程度(一维样本使用方差)，协方差越大（对于负相关来说是绝对值越大），表示数据的分布越分散。欲使同类样例的投影点尽可能接近，可以让同类样本点的协方差矩阵尽可能小。

类内差异：
对于两类问题而言：

对于多类问题类内散度矩阵公式：


上式表示第i类样本的协方差矩阵。所以 Sw就是表示C类样本协方差矩阵之和。

类间差异：
对于两类样本而言：

对于多类问题：

为了使得类内差异越小越好，类间差异越大越好的目标，LDA通过最大化化下列目标函数，求出最优的w。


通过简化：

可以看到上式就有转化为一个求解特征值和特征向量的问题了。w就是我们要求解的特征向量，这就验证了我们之前所说的式子，y=w^Tx中的w就是特征向量构成的矩阵。

值得注意的是s_w有可能是奇异矩阵，所以需要对它进行修正，使其变成非奇异：
s_w=s_w+a*I_d

I_d是dxd的单位矩阵，a是一个比较小的系数。一旦W=[w1,…,wk]，维度dxk确定，就可以通过该矩阵得到降维后的y=(k*n)。

有监督的LDA算法降维效果表现一般会优于非监督的PCA算法，但是它由于要计算类内与类间差异，所以执行LDA算法需要各个类别的数据量比较充足。