机器学习系列手记（四）：降维之线性判别分析

降维

线性判别分析

      相比于PCA，线性判别分析（Linear Discriminant Analysis，LDA）可以作为一种有监督的降维算法。PCA算法没有考虑数据的标签（类别），只是把原数据映射到一些方差比较大的方向上。假设有两类数据$C_1、C_2$，如下图所示。根据PCA算法数据应该映射到方差最大的那个方向，即 $y$ 轴方向。但$C_1、C_2$两个不同类别的数据会完全混在一起，难以区分。所以使用PCA算法进行降维后再进行分类的效果非常差。LDA算法尝试将数据映射到 $x$ 轴方向。

      LDA首先是为分类服务的，因此只要找到一个投影方向 $w$，使得投影后的样本尽可能按照原始类别分开。以二分类问题为例，假设有两类数据$C_1、C_2$，两类的均值分别是${\mu }_1=\frac{1}{N_1}{\sum }_{x\in C_1}x$，${\mu }_2=\frac{1}{N_2}{\sum }_{x\in C_2}$