LDA(线性判别分析(普通法))详解 —— matlab

目录

前言

正题

1.LDA的思想

2. 瑞利商（Rayleigh quotient）与广义瑞利商（genralized Rayleigh quotient） 

3. 二类LDA原理

4.多类LDA原理

5.LDA分类

6.LDA算法流程

二类LDA matlab举例：

1.读取数据集

2.分离数据集

3.求解w

4.输出降维后的数据集

5.分类
 

---

前言

        在主成分和因子分析中，我们对降维算法做了总结。这里我们就对另外一种经典的降维方法线性判别分析（Linear Discriminant Analysis, 以下简称LDA）做一个总结。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用，因此我们有必要了解下它的算法原理。

　　　　在学习LDA之前，有必要将其自然语言处理领域的LDA区别开来，在自然语言处理领域， LDA是隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA），他是一种处理文档的主题模型。我们本文只讨论线性判别分析，因此后面所有的LDA均指线性判别分析。

在做具体解释之前，请允许我放上我之前的一些链接：

主成分分析 —— matlab ：传送门

主成分分析 —— python ：传送门

因子分析 —— matlab ：传送门

因子分析 —— python ：传送门

正题

1.LDA的思想

        线性判别分析((Linear Discriminant Analysis ，简称 LDA)是一种经典的线性学习方法，在二分类问题上因为最早由 [Fisher,1936] 提出，亦称 ”Fisher 判别分析“。并且LDA也是一种监督学习的降维技术，也就是说它的数据集的每个样本都有类别输出。这点与主成分和因子分析不同，因为它们是不考虑样本类别的无监督降维技术。

        LDA 的思想非常朴素：给定训练样例集，设法将样例投影到一条直线上，使得同样样例的投影尽可能接近、异样样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。其实可以用一句话概括：就是“投影后类内方差最小，类间方差最大”。

图为 LDA的二维示意图。”+“，”-“分别代表正侧和反侧，椭圆表示数据簇的外轮廓，虚线表示投影，红色实心圆和实心三角形分别表示两类样本投影后的中心点。

2. 瑞利商（Rayleigh quotient）与广义瑞利商（genralized Rayleigh quotient） 

        我们先来看一下瑞丽商的定义。

        瑞丽商是指这样的函数R(A,x)：

        其中x为非零向量，而A为 n*n 的Hermitan矩阵。所谓的Hermitan矩阵就是满足共轭转置矩阵和自己相等的矩阵，即 . 如果我们的矩阵A是实矩阵，则满足的矩阵即为Hermitan矩阵。

        瑞利商R(A,x)有一个非常重要的性质，即它的最大值等于矩阵A最大的特征值，而最小值等于矩阵A的最小的特征值，也就是满足

        至于证明过程就不在这里介绍了。当向量x是标准正交基时，即满足时，瑞利商退化为：，这个形式在谱聚类和PCA中都有出现。

以上就是瑞丽商的内容。

        下面我们再来介绍一下广义的瑞丽商，

        广义的瑞丽商是指这样的函数 R(A,B,x) ：

        其中x为非零向量，而A,B为n×n的Hermitan矩阵。B为正定矩阵。它的最大值和最小值是什么呢？其实我们只要通过将其通过标准化就可以转化为瑞利商的格式。我们令,则分母转化为：