lda 降维 iris matlab,用线性判别分析 LDA 降维

本文结构：

什么是 LDA

和 PCA 区别

LDA 投影的计算过程

LDA 降维的例子

1. 什么是 LDA

先说判别分析，Discriminant Analysis 就是根据研究对象的各种特征值，判别其类型归属问题的一种多变量统计分析方法。

根据判别标准不同，可以分为距离判别、Fisher 判别、Bayes 判别法等。例如，在 KNN 中用的是距离判别，朴素贝叶斯分类用的是 Bayes 判别，线性判别分析用的是 Fisher 判别式。

根据判别函数的形式，可以分为线性判别和非线性判别。

线性判别式分析(Linear Discriminant Analysis)，简称为 LDA，也称为 Fisher 线性判别，1936 年由 Ronald Fisher 提出，1996 年由 Belhumeur 引入模式识别和人工智能领域。

2. 和 PCA 区别

二者都有降维的作用。

1. 左边是 PCA，属于无监督方法，当数据没有标签时可以用它。

右边是 LDA，属于监督方法。考虑了数据的分类信息，这样数据在低维空间上就可以分类了，减少了很多的运算量。

2. PCA 主要是从特征的协方差角度考虑，追求的是在降维之后能够最大化保持数据的内在信息。

它不考虑分类信息，因此，降低维度后，信息损失降到最