线性判别分析（一）——LDA介绍

线性判别分析（一）——LDA介绍
线性判别分析（二）——Bayes最优分类器的角度看LDA

1. LDA的基本思想

LDA(Linear Discriminant Analysis, 线性判别分析)由Fisher于1936年提出，又称为Fisher线性判别(FDA)。

注：LDA和FDA并不完全等价，LDA假设每个类别内的实例服从高斯分布并且不同类别对应的高斯分布的协方差矩阵相同。本篇博客介绍的其实是FDA，但我们不做细分，统一称作LDA。

LDA既可以用于解决分类问题，又可以对数据进行降维处理。

基本思想
将高维的样本数据投影到判别向量空间，以达到抽取分类信息和降低特征维数的效果，投影后保证数据在新的子空间中有最大的类间距离和最小的类内距离，即在该子空间有最佳的可分离性。

2. LDA用于二分类问题

本节我们会讨论二分类问题上LDA思想的应用。给定训练样本$D = \{(\boldsymbol x_i, y_i), i=1, \cdots, m\}$，其中$\boldsymbol x_i \in \mathbb R^{d}$为第$i$个实例对应的特征向量，$y_i\in \{0, 1\}$为第$i$个实例对应的类别标记。我们用$X$表示所有实例集合，$X_c$表示c类别的实例集合，用$N_c$表示c类别对应的实例数。

在二分类问题上，LDA通过线性变换

$$z=\boldsymbol \omega^T \boldsymbol x \tag 1$$ 将样本数据投影到一维空间中，并希望在投影空间中不同类别的样本数据之间尽可能分离，同类别的样本数据尽可能接近。我们需要把这一目标形式化为数学表达，以便求解出期望的投影方向 $\boldsymbol \omega^*$。

2.1 目标函数

假设投影空间中的实例集合为$Z=\{z_1, z_2, \cdots, z_m\}$，其中$z_i=\boldsymbol \omega^T \boldsymbol x_i$。类似于原始空间中的集合定义，我们用$Z_c$表示投影空间中c类别实例集合。

记$\bar x_c$表示集合$X_c$的均值，则

$$\bar {\boldsymbol x}_c = \frac{1}{N_c}\sum_{\boldsymbol x \in X_c}\boldsymbol x \tag 2.$$

记$\bar z_c$表示集合$Z_c$的均值，则

$$\bar z_c = \frac{1}{N_c}\sum_{ z \in Z_c}z \tag 3.$$

根据(1)(2)(3)可以推出

z¯c=1Nc∑z∈Zcz