两种降维方法原理：PCA和LDA

1、PCA(主成分分析)

一句话：PCA将方差最大的方向作为主成分，使用主成分来表示原始数据可以去除冗余的维度，达到降维的目的。

无监督降维技术，利用正交变换把由线性相关变量表示的观测数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。PCA选择的是投影后数据方差最大的方向。因此PCA假设方差越大，代表的信息量越大。

总结：
PCA虽然可以很好地解除线性相关性，但是对于高阶相关性，需要借助Kernel PCA，通过Kernel函数将非线性相关转为线性相关。

另外，PCA假设数据各主特征是分布在正交方向上，如果在非正交方向上存在几个方差较大的方向，PCA的效果就大打折扣了。

PCA的基本数学原理可参考：
http://blog.codinglabs.org/articles/pca-tutorial.html

2、LDA(线性判别分）
有监督的，选择的是投影后类内方差小、类间方差大的方向。用到了类别标签信息，为了找到数据中具有判别性的维度，使原始数据在这些方向上投影后，不同类别尽可能区分开来。

总结：
LDA算法既可以用来降维，又可以用来分类，但主要是降维。
优点：
1、有监督，故可以使用先验知识经验。
2、依赖样本均值而不是方差，算法较优。
缺点：
1、LDA不适合对非高斯分布样本进行降维，PCA同样
2、过拟合现象
3、使用均值，效果不好。

例如：
语音设别中，如果想从音频中提取某人的语音信号，可以使用PCA进行降维，来过滤掉一些固定频率（方差相对较小）的背景噪声。但如果需要从这段音频中识别出声音属于哪个人的，就需要使用LDA对数据进行降维，使每个人的语音信号具有区分性。

参考原文链接：https://blog.csdn.net/lyq_12/article/details/86603074