PCA与LDA

PCA：
“最能代表原始数据”希望降维后的数据不能失真，也就是说，被PCA降掉的那些维度只能是那些噪声或是冗余的数据。
1：冗余，就是去除线性相关的向量（纬度），因为可以被其他向量代表，这部分信息量是多余的。
2：噪声，就是去除较小特征值对应的特征向量。
因为特征值的大小就反映了变换后在特征向量方向上变换的幅度，幅度越大，说明这个方向上的元素差异也越大，换句话说这个方向上的元素更分散。

LDA:
Fisher判别分析的思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、不同类样例的投影点尽可能远离。在对新样本进行分类时，将其投影到同样的这条直线上，再根据新样本投影点的位置来确定它的类别。 ——周志华《机器学习》

PCA vs LDA
LDA用于降维，和PCA有很多相同，也有很多不同的地方，因此值得好好的比较一下两者的降维异同点。
首先我们看看相同点：
1、两者均可以对数据进行降维
2、两者在降维时均使用了矩阵特征分解的思想
3、两者都假设数据符合高斯分布
我们接着看看不同点：
1、LDA是有监督的降维方法，而PCA是无监督的降维方法
2、LDA降维最多降到类别数k-1的维数，而PCA没有这个限制
3、LDA除了可以用于降维，还可以用于分类
4、LDA选择分类性能最好的投影方向，而PCA选择样本点投影具有最大方差的方向