线性判别分析（LDA）

线性判别分析(LDA)是一种监督学习方法，和主成分分析（PCA）一样，其主要用来降维。有些资料也把LDA称为Fisher线性判别（FLD）。LDA在机器学习，图像识别，数据挖掘等领域有着广泛的应用。

LDA的基本思想就是：给定训练样本集，设法将样本投影到一条直线上，使得同类样本的投影点尽可能地接近，异类样本的投影点尽可能远离，在对新样本进行分类时，将其投影到相同的这条直线上，再根据投影点的位置来确定新样本的类别。当是二分类问题时，如下图：

假设用来区分二分类的直线（投影函数）为：
$$y==w^{T}x$$
LDA分类的一个目标是使得不同类之间的距离越大越好，同一类别之间的距离越小越好，先定义几个值：
类别$i$的原始中心点，也就是类别$i$的均值为：
$$m_i=\frac{1}{n_i}{\Sigma }_{x\in D_i}x$$
$D_i$为属于类别$i$的样本点。
类别$i$投影后的中心点（均值）为：
$$\widetilde{m_i}=w^T{m}_i$$
衡量类别$i$投影后，类别点之间的分散程度（方差）为：
$$\widetilde{s_i}={\Sigma }_{y\in Y_i}(y-\widetilde{m_i}{)}^2$$
$Y_i$为类别$i$投影后的样本点。
同时考虑不同类之间的距离越大越好，同一类别之间的距离越小越好，则可最大化目标函数：