降维-线性判别分析（LDA）

线性判别分析(Linear Discriminant Analysis, LDA)，也叫 做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，1936年由Ronald Fisher首次提出，并在1996年由Belhumeur引入模式识别和人工智能领域。

一、基本思想

线性判别分析的基本思想是将高维的模式样本投影到最佳低维鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果。 投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。因此，它是一种有效的特征抽取方法。使用这种方法能够使投 影后模式样本的类间散布矩阵最大，并且同时类内散布矩阵最小。

可以看到两个类别，一个绿色类别，一个红色类别。左图是两个类别的原始数据，现在要求将数据从二维降维到一维。直接投影到$x_1$轴或者$x_2$轴，不同类别之间会有重复，导致分类效果下降。右图映射到的直线就是用LDA方法计算得到的，可以看到，红色类别和绿色类别在映射之后之间的距离是最大的，而且每个类别内部点的离散程度是最小的（或者说聚集程度是最大的）。

二、LDA vs PCA

LDA与PCA(主成分分析)都是常用的降维技术。PCA主要是从特征的协方差角度，去找到比较好的投影方式。LDA更多的是考虑了标注，即希望投影后不同类别之间数据点的距离更大，同一类别的数据点更紧凑。

三、LDA算法具体推导

要说明白LDA，首先得弄明白线性分类器(Linear Classifier)：因为LDA是一种线性分类器。对于K-分类的一个分类问题，会有K个线性函数：

$$y_k(x)=w^{T}_k x+w_{k0}.$$
当满足条件：对于所有的 $j$，都有 $y_k > y_j$的时候，我们就说 $x$属于类别 $k$。对于每一个分类，都有一个公式去算一个分值，在所有的公式得到的分值中，找一个最大的，就是所属的分类。

仔细研究一下上式，就会发现上式实际上就是一种投影，是将一个高维的点投影到一条高维的直线上。LDA最求的目标是，给出一个标注了类别的数据集，投影到了一条直线之后，能够使得点尽量的按类别区分开，当$k=2$即二分类问题的时候，如下图所示：

黄色的五角形点为0类的原始点、蓝色的圆形点为1类的原始点，经过原点的那条红线就是投影的直线。从图上可以清楚的看到，经过LDA降维处理，黄色的点和蓝色的点被原点明显的分开了。

下面我来推导一下二分类LDA问题的公式。为简化起见，假设用来区分二分类的直线(投影函数)为：

$$y=w^{T} x.$$
LDA分类的一个目标是使得不同类别之间的距离越远越好， 同一类别之中的距离越近越好，所以我们需要定义几个关键的值：

• 类别$i$的原始中心点(均值)为($D_i$表示属于类别$i$的点集合，$|D_i|=n_i$): $m_i=\frac{1}{n_i} \sum_{x \in D_i}x$;
• 类别$i$投影后的中心点为：$\bar{m}_i=w^{T}m_i$;
• 衡量类别$i$投影后，类别点之间的分散程度(方差)为：