数据挖掘 2019.09.4

PCA主成分分析原理 流程以及R中的实现。

（一）分析原理
① 数据降维
降维就是一种对高维度特征数据预处理方法。降维是将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的。在实际的生产和应用中，降维在一定的信息损失范围内，可以为我们节省大量的时间和成本。降维也成为应用非常广泛的数据预处理方法。

降维具有如下一些优点：

1. 使得数据集更易使用。
2. 降低算法的计算开销。
3. 去除噪声。
4. 使得结果容易理解。
   降维的算法有很多，比如奇异值分解(SVD)、主成分分析(PCA)、因子分析(FA)、独立成分分析(ICA)。

② PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。

③基本思想
1·在数据信息丢失最少的原则下，将多个具有较强相关性的实测变量综合成少量综合变量（高维–到--低维）
2·主成分与原始数据的关系
Ⅰ主成分浓缩了原始变量绝大多数的信息。
Ⅱ主成分个数远小于原始变量的个数。
Ⅲ各主成分都是原始变量的线性组合。
二（PCA算法流程）

样本均值

样本方差

协方差

协方差为正时，说明X和Y是正相关关系；协方差为负时，说明X和Y是负相关关系；协方差为0时，说明X和Y是不相关。

①数据的标准化
对特征标量的数据进行标准化
z-score 标准化

求每列的均值和标准差

②协方差矩阵
协方差公式

对数据构建协方差矩阵
当样本是n维数据时，它们的协方差实际上是协方差矩阵(对称方阵)。例如，对于3维数据(x,y,z)，计算它的协方差就是：

③·求协方差矩阵的特征值和特征向量
计算特征值λ1，λ2…
构建特征向量矩阵U
④特征值按照从大到小排序，特征向量也如此排序
顺序的第一位就是第一主成分往后以此为类推
⑤将样本点投射道特征向量矩阵U

筛选主成分的条件？
Ⅰ第一主成分的贡献率
Ⅱ累计贡献率
Ⅲ选择主成分的个数（需要降到的位数K）
1·累计贡献率达到85％
2·根据特征根的变化来确定 λi大于 λ平均值

⑥：PCA方法小结
Ⅰ根据研究问题选取最初是分析变量，并进行数据标准化
Ⅱ根据初始变量计算协方差矩阵
Ⅲ求协方差矩阵的特征值与相应的特征向量
Ⅳ根究方差贡献率确定主成分个数
Ⅴ对主成分做出合理解释

PCA R中的实现