PCA降维

       PCA，Principal Component Analysis，即主成分分析，该算法最早是由Pearson教授与1991年首次提出的，并由Hotelling教授进一步改进发展得到的。PCA算法的核心思想是通过降低数据维度，并尽最大可能的保留原数据信息中的有效特征信息，将原来维度较大的特征数据转换为较低维度的特征数据的多元化统计方法。通常情况下，PCA方法得到的几个主成分之间没有直接的相关性，其通过原始特征数据的线性组合得到最后的降维后的特征数据。通过PCA主成分分析方法，可以快速有效的解决各种特征提取和辨识问题。

      PCA主成分分析方法是基于K-L变换的方法，下面以K-L变换为基础分析PCA方法的主要流程，首先假设变量X 为一组n 维的随机变量，那么X可以通过如下的n个基向量的加权和来表示：

公式2.19中，变量表示加权系数，变量表示基向量，因此，公式2.19还可以通过如下的矩阵形式表示：

取基向量为正交向量，即：

则系数向量为：

下面介绍PCA方法的计算流程，首先假设有一组特征序列矩阵：

对公式中特征矩阵进行奇异值分解，计算获得一个对角矩矩阵和两个正交矩阵：