PCA

主成分分析(principal component analysis)是将分散在一组变量上的信息集中到某几个综合指标(主成分)上的探索性统计分析方法。以便利用主成分描述数据集内部结构，实际上也起着数据降维的作用。 http://www.miforum.net/nosa/expl/ppc.htm http://www.cad.zju.edu.cn/home/chenlu/pca.htm//介绍原理 主成分分析（principal components analysis (PCA)）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。 相当于对于一个信号来说保留了他的大部分轮廓，忽略了细小的变化 PCA降维，同时又保证其降维后是相互独立的 主成分分析的实质就是确定原来变量xj（j=1，2 ，…， p）在诸主成分zi（i=1，2，…，m）上的荷载 lij 相关矩阵的m个较大的特征值所对应的特征向量。 lij=p(Zi,Xj)=sqrt(/lamida)Eij z是主成份，x是原矩阵 协方差矩阵包含了所有观测变量之间的相关性度量。更重要的是，根据前两节的说明，这些相关性度量反映了数据的噪音和冗余的程度。 在对角线上的元素越大，表明信号越强，变量的重要性越高；元素越小则表明可能是存在的噪音或是次要变量。 l 在非对角线上的元素大小则对应于相关观测变量对之间冗余程度的大小。 一般情况下，初始数据的协方差矩阵总是不太好的，表现为信噪比不高且变量间相关度大。PCA的目标就是通过基变换对协方差矩阵进行优化