西瓜书学习——线性判别分析

定义

线性判别分析（Linear Discriminant Analysis，简称LDA）是一种常用的监督学习降维技术，主要应用于模式识别和机器学习领域。LDA的核心思想是将高维的数据投影到低维空间，使得投影后的数据在同一类内部尽可能紧凑，不同类之间尽可能分离，从而达到分类的目的。

LDA的具体步骤

1. 计算类内散布矩阵（Within-Class Scatter Matrix）

首先，对于每个类别，我们需要计算其均值和协方差矩阵。假设我们有 $K$ 个类别，对于第 $k$ 类，其均值向量表示为 ${\mu }_k$，协方差矩阵表示为 ${\Sigma }_k$。类内散布矩阵$S_w$可以通过以下公式计算：
$$S_w=\sum _{k=1}^K\sum _{x\in X_k}(x-{\mu }_k)(x-{\mu }_k{)}^T$$

其中，$X_k$ 表示属于第 $k$ 类的所有样本。类内散布矩阵反映了同类数据内部的离散程度。

2. 计算类间散布矩阵（Between-Class Scatter Matrix）

类间散布矩阵 $S_b$ 可以通过以下公式计算：

$$S_b=\sum _{k=1}^K{N}_k({\mu }_k-\mu )({\mu }_k-\mu {)}^T$$

其中，$N_k$ 是第kk类的样本数量，$\mu$ 是所有样本的总体均值。类间散布矩阵反映了不同类别数据之间的离散程度。

3. 求解最佳投影向量

LDA 的目标是找到一个投影向量 $w$，使得数据在该向量上的投影能够最大化类间散布与类内散布的比值。这个投影向量可以通过求解下面的最优化问题得到：
$$\underset{w}{\max }\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$
这个最优化问题等价于求解 $S_w^{-1}{S}_b$ 的最大特征值对应的特征向量。因此，我们可以通过计算特征值和特征向量来找到最佳的投影向量 $w$。

4. 数据投影

找到最佳投影向量 $w$ 后，我们可以将原始数据 $x$ 投影到一维空间，得到其在 $w$ 方向上的投影：
$$y=w^{T}x$$

如果需要进一步降维到多维空间，我们可以找到多个最佳的投影向量，构成一个投影矩阵 $W$，然后通过 $y=W^T$ 将数据投影到多维空间。

5. 分类

在降维后的空间中，我们可以使用简单的分类器（如最近邻分类器）进行分类。