注:这里说的LDA实际上讲的是Fisher linear discriminant analysis
在machine learning领域,PCA和LDA都可以看成是数据降维的一种方式。但是PCA是unsupervised,也就是说不需要知道sample对应的label,而LDA是supervised,需要知道每一个数据点对应的label。下面分别解释PCA和LDA的基本原理
1.PCA
PCA被广泛用于数据降维处理,在PRML书上写道,PCA有两种定义的方式,其中一种是将PCA定义为一种正交投影,使得原始数据在投影子空间的各个维度的方差最大化。下面我们就以这个定义来推导PCA。
考虑一组观测数据{
xn }, n=1,...,N ,其中 xn 是 D 维向量,我们的目标就是把数据投影到一个更低的
首先假设 M=1 ,也就是把所有数据投影到 D 维空间上的一条直线上。我们可以利用一个
x¯=1N∑n=1Nxn
那么投影之后的均值向量可以表示成 uT1x¯ ,投影之后的方差可以表示成
1N∑n=1N{
uT1xn−uT1x¯}2=uT1Su1
其中 S 表示原始数据的协方差矩阵