机器学习面试-降维算法LDA和PCA（白板推导）

降维算法分为：

1.直接降维， 特征选择
2. 线性降维， PCA， MDS等
3. 分流线， 流线包括lsomap , LLE等

降维的目的：

1. 减少预测变量的个数
2. 确保这些变量是相互独立的
3. 数据在低纬度时候更容易处理， 更容易使用
4. 去除噪数据噪声
5. 降低算法的运算开销

1. 线性判别分析LDA

LDA的 核心思想就是投影后类内方差小， 类间方差最大

LDA算法的优缺点：

优点：

1. 可以使用类别的先验知识
2. 以标签， 类别衡量差异性的 有监督降维算法， 相对于PCA的模糊性， 其目的更明确， 更能反映样本间的差异。

缺点：

1. LDA不适合对非高斯分布样本进行降维
2. LDA最多降到K-1维
3. LDA可能会过度拟合数据
4. LDA在样本分类信息依赖方差而不是均值， 降维效果不好