PCA(主成成分分析)和LDA(线性判别分析)详解-共性和区别

注：这里说的LDA实际上讲的是Fisher linear discriminant analysis

在machine learning领域，PCA和LDA都可以看成是数据降维的一种方式。但是PCA是unsupervised，也就是说不需要知道sample对应的label，而LDA是supervised，需要知道每一个数据点对应的label。下面分别解释PCA和LDA的基本原理

1.PCA

PCA被广泛用于数据降维处理，在PRML书上写道，PCA有两种定义的方式，其中一种是将PCA定义为一种正交投影，使得原始数据在投影子空间的各个维度的方差最大化。下面我们就以这个定义来推导PCA。

考虑一组观测数据{ $x_n$}, $n = 1,...,N$,其中$x_n$是 $D$ 维向量，我们的目标就是把数据投影到一个更低的$M$维空间上，并且保证原始数据在这个子空间的各个方向上的方差最大化。

首先假设$M = 1$，也就是把所有数据投影到$D$维空间上的一条直线上。我们可以利用一个$D$维单位向量$u_1$来表示这条直线。原始数据集$x_n$的均值向量 $\bar{x}$ 可以表示成

$$\bar{x} = \frac{ 1 }{ N } \sum_{n = 1}^{N}x_n$$
那么投影之后的均值向量可以表示成 $u_1^T \bar{x}$ ,投影之后的方差可以表示成
$$\frac{ 1 }{ N } \sum_{n = 1}^{N}{\{u_1^Tx_n - u_1^T\bar{x}\}^2} = u_1^TSu_1$$
其中 $S$表示原始数据的协方差矩阵

S=1N∑n=1N(xn−x¯