线性判别分析LDA

LDA的思想

LDA算法是一种有监督的机器学习算法。LDA算法的思想是将数据投影到低维空间之后，使得同一类数据尽可能的紧凑，不同类的数据尽可能分散（这句话是核心思想）。


上图提供了两种投影方式，哪一种能更好的满足我们的标准呢？
从直观上可以看出，右图要比左图的投影效果好，因为右图的黑色数据和蓝色数据各个较为集中，且类别之间的距离明显。左图则在边界处数据混杂。以上就是LDA的主要思想了，当然在实际应用中，我们的数据是多个类别的，我们的原始数据一般也是超过二维的，投影后的也一般不是直线，而是一个低维的超平面。

LDA的原理

二类LDA原理

假设我们的数据D={（x1,y1）,（x2,y2）,（x3,y3）…（xm,ym）}；数据分为两类 yi={0，1}；根据样本的分类,计算不同的均值 μi={μ0,μ1}，μi是分类为i的均值；协方差也和均值一样，根据样本的分类,计算不同的协方差 ∑i={∑0,∑1}，∑i是分类为i的协方差。

由于是两类数据，因此我们只需要将数据投影到一条直线上即可。
假设我们的投影直线是向量w,则对任意一个样本本xi,它在直线w的投影为wTxi,对于我们的两个类别的中心点μ0,μ1,在在直线w的投影为wTμ0和wTμ1。

由于LDA需要让不同类别的数据的类别中心之间的距离尽可能的大，也就是我们要最大化||wTμ0−wTμ1||22,同时我们希望同一种类别数据的投影点尽可能的接近，也就是要同类样本投影点的协方差wTΣ0w和wTΣ1w尽可能的小，即最小化wTΣ0w+wTΣ1w。
综上所述，我们的优化目标为：

另外，我们在定义两个矩阵
1.类内散度矩阵Sw为

2.类间散度矩阵Sb

将这些都整合起来我们要最大化的目标就是

到了这里我们需要提到瑞利商（Rayleigh quotient）与广义瑞利商（genralized Rayleigh quotient）

这里的H表示转置T

然后我们接着看LDA

多类LDA原理

LDA vs PCA

LDA用于降维，和PCA有很多相同，也有很多不同的地方，因此值得好好的比较一下两者的降维异同点。

首先我们看看相同点：

1）两者均可以对数据进行降维。

2）两者在降维时均使用了矩阵特征分解的思想。

3）两者都假设数据符合高斯分布。

我们接着看看不同点：

1）LDA是有监督的降维方法，而PCA是无监督的降维方法

2）LDA降维最多降到类别数k-1的维数，而PCA没有这个限制。

3）LDA除了可以用于降维，还可以用于分类。

4）LDA选择分类性能最好的投影方向，而PCA选择样本点投影具有最大方差的方向。