PCA原理及其R实现

主成分分析法

主成分分析也称主分量分析，是揭示大样本、多变量数据或样本之间内在关系的一种方法，旨在利用降维的思想，把多指标转化为少数几个综合指标，降低观测空间的维数，以获取最主要的信息。
在统计学中，主成分分析（principal components analysis, PCA）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。

主成分分析法的基本原理

主成分分析法是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统，再通过构造适当的价值函数，进一步把低维系统转化成一维系统。
#主成分的一般定义
设有随机变量$X_1，X_2，\dots ，X_p$，样本标准差记为$S_1，S_2，\dots ，S_p$。首先作标准化变换：
$$C_j=a_{j1}{x}_1+a_{j2}{x}_2+\dots +a_{jp}{x}_p,j=1,2,\dots ,p$$
我们有如下的定义：
(1) 若$C_1=a_{11}{x}_1+a_{12}{x}_2+\dots +a_{1p}{x}_p$， ，且使 $Var(C_1)$最大，则称$C_1$为第一主成分；

(2) 若 C 2