【降维方法】- 线性判别分析（LDA）

参考：refenrence

简介

线性判别分析（Linear Discriminant Analysis）作为一种监督式的降维方法，同时也用作分类器，它主要思想是：使得对原空间进行投影运算后，类间的样本点数据分布间隔大，而类内样本点数据分布方差小。

原理

有了上述思想后，我们尝试着自己一步步把这个思想具体化。最近在看《数学之旅》，王教授提到学习数学需要重要培养的一个能力：抽象能力。

数学就是现实世界的高度抽象，它容易抓住问题本质，比如图论中点和边的概念，这个概念注重抓住不同物体之间的拓扑关系，而非具体研究这个点是什么有多大，边是什么材质等等。所以，使用数学这个工具，可以方便地直接研究与解决问题，因为其强大的抽象能力。

下面看看我们如何把 【使得对原空间进行投影运算后，类间的样本点数据分布间隔大，而类内样本点数据分布方差小】这个思想进行抽象。

我们的研究对象是：数据集$D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}$, 其中$x_i \in R^n$，$y_i \in \{0,1\}$。定义$N_j(j=0,1)$为第$j$类样本的个数，$X_j(j=0,1)$为第$j$类样本的集合，而$μ_j(j=0,1)$为第$j$类样本的均值向量，定义$\sum_j(j=0,1)$为第$j$类样本的协方差矩阵（严格说是缺少分母部分的协方差矩阵）。

其中，$\sum_j$ 表示如下：

$$\Sigma_j = \sum\limits_{x \in X_j}(x-\mu_j)(x-\mu_j)^T\;\;(j=0,1)$$

首先，我们想让样本点投影后（$x_i=w\cdot x_i^T$）两个类之间的间隔大，一种可行的抽象方式，或者说数学表达方式是：最大化$||w^T\mu_0-w^T\mu_1||_2^2$。同时，同类样本点方差尽可能小，即最小化$w^T\Sigma_0w+w^T\Sigma_1w$，最后结合两者就得到了需要优化的目标式：

$$\underbrace{arg\;max}_w\;\;J(w) = \frac{||w^T\mu_0-w^T\mu_1||_2^2}{w^T\Sigma_0w+w^T\Sigma_1w} = \frac{w^T(\mu_0-\mu_1)(\mu_0-\mu_1)^Tw}{w^T(\Sigma_0+\Sigma_1)w}$$

上面的优化问题的求解，可以借助矩阵理论求出，这里直接给出结论：

$$w=S_w^{-1}(\mu_0-\mu_1)$$
其中 $$S_w = \Sigma_0 + \Sigma_1 = \sum\limits_{x \in X_0}(x-\mu_0)(x-\mu_0)^T + \sum\limits_{x \in X_1}(x-\mu_1)(x-\mu_1)^T$$

从上述一步步推导可以看出，最重要的还是使用数学工具对目标问题的抽象，我们需要学习多种常见的抽象方式，然后在实际问题中使用这些思想去解决新的问题。

算法流程（二分类问题）

输入：数据集$D= \{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}$,其中任意样本$x_i$为$n$维向量，$y_i\in \{C_0,C_1\}$，降维到的维度$d$。

输出：降维后的样本集$D′$。

• 计算类内散度矩阵$S_w$
• 计算类间散度矩阵$S_b = (\mu_0-\mu_1)(\mu_0-\mu_1)^T$
• 计算矩阵$S^{−1}_w\cdot S_b$
• 计算$S^{−1}_w\cdot S_b$的最大的$d$个特征值和对应的$d$个特征向量$(w_1,w_2,...w_d)$,得到投影矩阵$W$
• 得到输出样本集$D′=\{(z_1,y_1),(z_2,y_2),...,(z_m,y_m)\}$

代码：

Github

讨论

各降维方法的讨论：here