PCA降维和LDA降维

PCA降维

PCA降维是利用了基于方差的降维，方差是反应样本离均值的离散程度的度量，我们的目的就是利用样本的特征统计特性，也就是方差使得样本在降维的时候可以离散开来。

如果单纯只选择方差最大的方向，后续方向应该会和方差最大的方向接近重合。为了让两个字段尽可能表示更多的原始信息，

我们是不希望它们之间存在（线性）相关性的。可以用两个字段的协方差表示其相关性：

当协方差为0时，表示两个字段完全独立。为了让协方差为0，选择第二个基时只能在与第一个基正交的方向上选择。因此最终选择的两个方向一定是正交的。

将一组N维向量降为K维（K大于0，小于N），目标是选择K个单位正交基，也就是降到k维就要选择k个单位正交基，使原始数据变换到这组基上后，各字段两两间协方差为0，也就是使得样本特性独立，字段的方差则尽可能大。这样投影线性无关，方差最大，特性信息保留最纯，最多。

矩阵对角线上的两个元素分别是两个字段的方差，而其它元素是a和b的协方差。这里要求协方差为0。得到对角阵，对角阵的值按大到小，上到下的排列：

实对称矩阵：一个n行n列的实对称矩阵一定可以找到n个单位正交特征向量。

根据特征值的从大到小，将特征向量从上到下排列，则用前K行组成的矩阵乘以原始数据矩阵X，就得到了我们需要的降维后的数据矩阵Y

求解步骤：

1、数据转换为矩阵，样本是列，特征是行。

2、求出协方差矩阵。

3、通过协方差矩阵求出，特征值，特征向量。

4、对角化

5、降维