五、 线性判别分析 LDA

线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的有监督数据降维方法，同时也经常被用来对数据进行降维。它是 Ronald Fisher 在 1936 年发明的，因此也称为是 Fisher Discriminant Analysis （FDA）。

1 LDA 原理

LDA 是为了分类服务的，因此目标是希望找到一个投影方向 $w$，使得投影后的样本尽可能按照原始类别分开。

假设现有数据集 $D=(x_1,y_1),(x_1,y_1),\cdot \cdot \cdot ,(x_n,y_n)$，其中任意样本 $x_i$ 为 $m$ 维向量，数据集中共有 $K$ 个类别。定义 $N_j$ 为第 $j$ 类样本的个数，$X_j$ 为第 $j$ 类样本的集合，${\mu }_j$ 为第 $j$ 类样本的均值向量，${\sum }_j$ 为第 $j$ 类样本的“方差”。

因此，原始均值 ${\mu }_i$ 和投影后的均值 ${\tilde{\mu }}_i$ 的表达式为分别为：

$${\mu }_i=\frac{1}{N_i}\sum _{x\in w_i}x$$
$${\tilde{\mu }}_i=\frac{1}{N_i}\sum _{x\in w_i}{w}^{T}x=w^T\frac{1}{N_i}\sum _{x\in w_i}x=w^T{\mu }_i$$

方差
$$\begin{array}{rl}{\tilde{s}}_i^2& =x\in w_{}\\ & \\ & \\ & \end{array}$$