线性判别式分析（LDA）原理分析

转：https://blog.csdn.net/jnulzl/article/details/49894041

由于研究需要用到线性判别式分析，看过许多理论推导后，整理了如下笔记方便之后复习。

线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（FisherLinear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。 

LDA的原理是，将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近。

将一个高维的点投影到一条高维的直线上，LDA最求的目标是，给出一个标注了类别的数据集，投影到了一条直线之后，能够使得点尽量的按类别区分开。

 

假定一个N*m维样本，其中，N1属于w1类，N2属于w2类，我们试图找到一个标量y将样本x映射到一条直线上（C-1空间,C=2）。

 

在所有可能的直线里，我们要找一条可以最大化标量的直线。

LDA的中心思想即：最大化类间距离，最小化类内距离。

 

对于多分类情况可以参考这篇https://zhuanlan.zhihu.com/p/27899927?group_id=869893271453863936，作者写的非常详细。

附上我自己的手推过程。

总结：