java实现pca算法_PCA算法 原理与实现

本文主要基于同名的两篇外文参考文献A Tutorial on Principal Component Analysis。

PCA，亦即主成分分析，主要用于对特征进行降维。如果数据的特征数非常多，我们可以认为其中只有一部分特征是真正我们感兴趣和有意义的，而其他特征或者是噪音，或者和别的特征有冗余。从所有的特征中找出有意义的特征的过程就是降维，而PCA是降维的两个主要方法之一(另一个是LDA).

Jonathon Shlens的论文中举了一个物理学中测试理想情况下弹簧振动的例子，非常生动，详见[1](中文翻译见[5])。

我们首先看一下给定一个代表数据记录的矩阵A，如果计算其主成分P，并如何利用P得到降维后的数据矩阵B，然后介绍一下这个计算过程背后的原理，最后会有在Python中实现PCA和在Weka中调用PCA算法的实例。

1. 计算过程：

假设我们有n条数据记录，每条记录都是m维，我们可以把这些数据记录表示成一个n*m矩阵A。

对矩阵A的每一列，求出其平均值，对于A中的每一个元素，减去该元素所在列的平均值，得到一个新的矩阵B。

计算矩阵Z=BTB/(n-1)。其实m*m维矩阵Z就是A矩阵的协方差矩阵。

计算矩阵Z的特征值D和特征向量V,其中D是1*m矩阵，V是一个m*m矩阵，D中的每个元素都是Z的特征值，V中的第i列是第i个特征值对应的特征向量。

下面，就可以进行降维了，假设我们需要把数据由m维降到k维，则我们只需要从D中挑选出k个最大的特征向量，然后从V中挑选出k个相应的特征向量，组成一个新的m*k矩阵N。

N中的每一列就是A的主成分(Pr