问题
在前面总结的机器学习问题44和45中已经分别总结了 PCA
和 LDA
两种降维方法,接下来就对这两种方法一起做个对比和总结吧。
(大华二面)
PCA与LDA的比较
异同点
● 相同点:
① 均是降维方法
② 降维时均使用了矩阵特征分解的思想
③ 两者都假设数据符合高斯分布
● 不同点:
① PCA是无监督的降维方法,而LDA是有监督的降维方法
② LDA除了可以降维,还可以用于分类
③ LDA降维最多降到类别数 k-1
的维数(k是样本类别的个数),而PCA没有这个限制。
④ LDA选择的是分类性能最好的投影方向,而PCA选择样本点投影具有最大方差的方向
● 关于第3个点:
可能不太好理解,如果要搞清楚的话,可以参考文末的博客中 第4小节-多类LDA原理 中的最后一段。
● 关于第4点,可以这样理解:
LDA在降维过程中最小化类内距离ÿ