pca降维的基本思想_PCA降维以及维数的确定

概述

PCA(principal components analysis)即主成分分析技术，又称为主分量分析，旨在利用降维的思想，把多个指标转换为少数的几个综合指标。

主成分分析是一种简化数据集的技术，它是一个线性变换。这个线性变化把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标上(称为第一主成分)，第二个大的方差在第二个坐标上(称为第二主成分)，以此类推。主成分分析经常用于减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。

PCA的原理就是将原来的样本数据投影到一个新的空间中。其中就是将原来的样本数据空间经过坐标变换矩阵变到新空间坐标下，新空间坐标由其原数据样本中不同维度之间的协方差矩阵中几个最大特征值对应的前几个特征向量组成。较小的特征值向量作为非主要成分去掉，从而可以达到提取主要成分代表原始数据的特征，降低数据复杂度的目的。

算法步骤

将n次采样的m维数据组织成矩阵形式\(X\in R^{n\times m}X\in R^{n\times m}\)。具体形式如下所示：

\[\left(\begin{matrix}\begin{matrix}x_{11}&x_{12}\\x_{21}&x_{22}\\\end{matrix}&\begin{matrix}\cdots&x_{1m}\\\cdots&x_{2m}\\\end{matrix}\\\begin{matrix}\vdots&\vdots\\x_{n1}&x_{n2}\\\end{matrix}&\begin{matrix}\ddots&\vdots\\\cdots&x_{nm}\\\end{matrix}\\\end{matrix}\right)

\]

将样本矩阵\(XX\)的每一列零均值化得新矩阵 \(X^{\prime}X^{\prime}\)。

\[\boldsymbol{x}_{i} \leftarrow \boldsymbol{x}_{i}-\frac{1}{m} \sum_{i=1}^{m} \boldsymbol{x}_{i}

\]

计算其样本数据维度之间的相关度，此处使用协方差矩阵\(CC\)：

\[cov=\frac{1}{m}X^\prime{X^\prime}^T

\]

计算协方差矩阵\(CC\)的特征值及其对应的特征向量，并特征值按照从大到小排列。

\[\left(\lambda_1,\lambda_2,\cdots,\lambda_t\right)=\left(\