用线性判别分析 LDA 降维

本文结构：

• 什么是 LDA
• 和 PCA 区别
• LDA 降维的计算过程
• LDA 降维的例子

---

1. 什么是 LDA

先说判别分析，Discriminant Analysis 就是根据研究对象的各种特征值，判别其类型归属问题的一种多变量统计分析方法。

根据判别标准不同，可以分为距离判别、Fisher 判别、Bayes 判别法等。例如，在 KNN 中用的是距离判别，朴素贝叶斯分类用的是 Bayes 判别，线性判别分析用的是 Fisher 判别式。

根据判别函数的形式，可以分为线性判别和非线性判别。

线性判别式分析（Linear Discriminant Analysis），简称为 LDA，也称为 Fisher 线性判别，1936 年由 Ronald Fisher 提出，1996 年由 Belhumeur 引入模式识别和人工智能领域。

---

2. 和 PCA 区别

二者都有降维的作用。

1. 左边是 PCA，属于无监督方法，当数据没有标签时可以用它。

右边是 LDA，属于监督方法。考虑了数据的分类信息，这样数据在低维空间上就可以分类了，减少了很多的运算量。<