PCA主成分分析和LDA线性判别降维

PCA主成分分析

PCA的做法：

        通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。这样就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。

        由于得到协方差矩阵的特征值特征向量有两种方法：特征值分解协方差矩阵、奇异值分解协方差矩阵，所以PCA算法有两种实现方法：基于特征值分解协方差矩阵实现PCA算法、基于SVD分解协方差矩阵实现PCA算法。

预备知识：

协方差矩阵：

 PCA的理论推导：

LDA线性判别降维：

LDA算法的要求：

        1.降维后组间方差大  ====>  降维后各组均值差值大  =====> 最大化降维后均值之差二范数的平方。

        2.降维后组内方差小  ====>  降维后协方差矩阵的投影最小。

理论推导：

二分类LDA：

均值：

协方差：

 

         降维就是在新的空间中做投影，均值的投影为:，方差的投影为：。为了实现LDA的要求，则需要

        最大化：

                

       最小化：

                 

可以得到最优化的目标函数： 

 进一步地可以定义为:

之后根据广义瑞利商的性质就可以求解以上的降维直线w。

多分类LDA： 

 LDA的算法流程： 

 PCA VS LDA：

 

 

参考链接：

主成分分析（PCA）原理详解 - 知乎