PCA 理论

PCA（Principal Component Analysis）

：该矩阵表示有M个样例，每个样例有N维，通过PCA将其转化为：该矩阵表示有M个眼里，每个样例有维，其中，因此达到了降低维度的目的。

简单来说PCA是将原本单个样本从原先的维空间映射到空间上去，现在就是要找到映射矩阵，然后将其作用在A上，即。行向量两两正交，并且单位化。

下面的公式用表示维度，表示样本序号

样本均值：

一维：

n维：

样本方差：

一维：

n维：

协方差：

 

的协方差矩阵可以由其离散度矩阵得来，离散度矩阵定义如下：

那么离散度矩阵与协方差矩阵的关系是

然后求出的所有特征值和其对应的特征向量（标准化），然后选取特征值的前k大的k个特征值并且取出其对应的特征向量（特征向量以行向量的形式排出），形成，k维空间的坐标轴，进而得出。由此提取了样例的前k个主要特征。