个人总结：降维 从 PCA 到 LDA

在个人总结：PCA中，对PCA的原理以及理由进行了一个概述，PCA应该是降维领域名声最大的算法，但是提到PCA，就不得不联想到另外一个名气也不小的降维算法 LDA : Linear Discriminant Analysis，线性判别分析。它在模式识别领域（人脸识别等图像识别领域）用途广泛。同时需要区分自然语言处理的LDA : Latent Dirichlet Allocation, 隐含狄利克雷分布。下面讲到的是线性判别分析。

LDA的目的

这里就需要和PCA进行区分了。PCA是无监督降维技术，面对的是没有类别的数据，而LDA不同，它是有监督降维技术，面对的是类别标记的数据。同时，PCA的目的是在投影后“在特征向量对应的维度最大投影方差”，而LDA的目的是“类内的方差最小化，类间的方差最大化”。用一张图进行理解。

右图相对于左图就更符合LDA的目的。当然实际应用中，数据是多个类别的，原始数据一般也是超过二维的，投影后一般也不是一条直线，而是一个低维的超平面。

首先了解一下瑞利商

瑞利商在LDA的地位就如同协方差矩阵在PCA的地位。

这样的函数R(A, x)

其中x为非零向量，而A为n x n的Hermitan矩阵。Hermitan矩阵即是满足的矩阵，如果矩阵A是实矩阵，则满足的矩阵即为Hermitan矩阵。

瑞利商的重要性质，它的最大值等于矩阵A的最大特征值，最小值等于矩阵A的最小特征值，

当x为标准正交基时，瑞利商退化为

而我们之后要用到的广义瑞利商R(A,B,x)：

x为非零向量，而A，B为n x n的Hermitan矩阵。B为正定矩阵，对任意非零向量z，都有 zTBz > 0。

现在有一个问题是想要知道广义瑞利商的最大值和最小值。

首先令

这里B^(-1/2)要求B一定为正定矩阵。内部细节为：存在一个正交矩阵Q，使得B=Q^{T}AQ, A是一个对角矩阵，且对角线上元素均大于0。将A上对角元素开根号，得到B=Q^{T}AQ=Q^{T} A^{1/2}QQ^{T}A^