特征降维-主成分分析

1.Principal components analysis (PCA)

用于减少数据集的维度，同时保持数据集中的对方差贡献较大的特征；
保留低阶主成分，忽略高阶成分，这样的低阶成分往往能够保留住数据的最重要方面

2.方差与协方差

用于衡量分散程度；
方差：一个维度内部的偏离程度；
协方差：不同维度之间的偏离程度

3.协方差矩阵

由于协方差的对称性，加上自己的协方差，可以得到协方差矩阵；
对角线上为方差；
协方差为正，代表变化趋势相同；反之亦然。

4.PCA

通过线性变化将原始数据映射到新的坐标系中，是映射后的第一个坐标上的方差最大（第一个主成分），第二个坐标上的方差第二大（第二个主成分）…

步骤：

4.1 将数据集$X$进行标准化，得到$Y$

4.2 构建协方差矩阵 $Q$ = $Y^T$$Y$

4.3矩阵分解，得到特征值及特征向量（线性代数）

4.4将特征值从大到小排列，最大的特征向量就是第一个主成分，第二个主成分

如何选择主成分个数：
交叉验证；
根据主成分的累计贡献率；
应用：特征提取、数据降维