【机器学习】PCA与LDA比较

问题

在前面总结的机器学习问题44和45中已经分别总结了 PCA 和 LDA 两种降维方法，接下来就对这两种方法一起做个对比和总结吧。

（大华二面）

PCA与LDA的比较

异同点

● 相同点：

① 均是降维方法

② 降维时均使用了矩阵特征分解的思想

③ 两者都假设数据符合高斯分布

● 不同点：

① PCA是无监督的降维方法，而LDA是有监督的降维方法

② LDA除了可以降维，还可以用于分类

③ LDA降维最多降到类别数 k-1的维数（k是样本类别的个数），而PCA没有这个限制。

④ LDA选择的是分类性能最好的投影方向，而PCA选择样本点投影具有最大方差的方向

● 关于第3个点：

可能不太好理解，如果要搞清楚的话，可以参考文末的博客中 第4小节-多类LDA原理 中的最后一段。

● 关于第4点，可以这样理解：

LDA在降维过程中最小化类内距离ÿ