PCA实例

　下面举一个简单的例子，说明PCA的过程。

　　　　假设我们的数据集有10个二维数据(2.5,2.4), (0.5,0.7), (2.2,2.9), (1.9,2.2), (3.1,3.0), (2.3, 2.7), (2, 1.6), (1, 1.1), (1.5, 1.6), (1.1, 0.9)，需要用PCA降到1维特征。

　　　　首先我们对样本中心化，这里样本的均值为(1.81, 1.91),所有的样本减去这个均值后，即中心化后的数据集为(0.69, 0.49), (-1.31, -1.21), (0.39, 0.99), (0.09, 0.29), (1.29, 1.09), (0.49, 0.79), (0.19, -0.31), (-0.81, -0.81), (-0.31, -0.31), (-0.71, -1.01)。

　　　　现在我们开始求样本的协方差矩阵，由于我们是二维的，则协方差矩阵为：

XXT=(cov(x1,x1)cov(x2,x1)cov(x1,x2)cov(x2,x2))XXT=(cov(x1,x1)cov(x1,x2)cov(x2,x1)cov(x2,x2))

　　　　对于我们的数据，求出协方差矩阵为：

XXT=(0.6165555560.6154444440.6154444440.716555556)XXT=(0.6165555560.6154444440.6154444440.716555556)

　　　　求出特征值为（0.490833989， 1.28402771），对应的特征向量分别为：(0.735178656,0.677873399)T(−0.677873399,−0.735178656)T(0.735178656,0.677873399)T(−0.677873399,−0.735178656)T,由于最大的k=1个特征值为1.28402771，对于的k=1个特征向量为(−0.677873399,−0.735178656)T(−0.677873399,−0.735178656)T. 则我们的W=(−0.677873399,−0.735178656)T(−0.677873399,−0.735178656)T

　　　　我们对所有的数据集进行投影z(i)=WTx(i)z(i)=WTx(i)，得到PCA降维后的10个一维数据集为：(-0.827970186， 1.77758033， -0.992197494， -0.274210416， -1.67580142， -0.912949103， 0.0991094375， 1.14457216, 0.438046137， 1.22382056)