线性判别分析（(Linear Discriminant Analysis,LDA）

        LDA用于分类问题上，在给定一个样本的情况下，将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离。那么对于一个新的样本，只要将其投影到这条直线上再根据投影点的位置即可完成分类。

给定一些定义：

在分类问题上，我们要让同类样例尽可能集中，异类样例尽可能远离。那么可以让同类样例点的投影的协方差尽可能小，使不同样例的中心尽可能远离（注意我们可以通过调节直线w的斜率来实现），综合一下就是使以下方程最大：

定义类内散度矩阵和类间散度矩阵来描述离散程度

不失一般性，我们令分母为1

由拉格朗日乘子法，

又有，

对于多分类问题，类似的我们可以得到：

tr称为迹，是方阵中对角线元素的和。