线性判别分析LDA

LDA线性判别分析：线性判别的基本思想是将数据投影到一条直线上，在直线上使得同类样本尽可能靠近，使的异类样本尽可能远离。下面以二分类问题为例子进行推导，并将其推到多维分类问题。

1.LDA推导

 

 

推广到多类别线性判别分析：

2.二分类别和多类别的区别

  主要是类间距离的计算不同，二分类的类间间距是两个类之间的中心距离的函数，而多类别的类间间距是求解每一类的中心距离到总体类中心距离的加权平均。

                           

 

3.LDA和PCA的区别

1）LDA不仅可以用来降维还可以用来分类，而PCA只能降维

2）LDA是有监督方法，而PCA是无监督方法

3）LDA是选择分类性能最好的投影方向（类间距离最大，类内距离最小），而PCA是选择样本点总体投影后方差最大的方向。