主成分分析(principal component analysis,PCA)是一种无监督学习方法,用来计算主成分理解数据。
PCA的主要思想是n个样本值虽然都是存在于p维空间当中,但是并不是所有维度都有同样的价值,PCA致力于寻找少数尽可能有意义的维度来表达数据。而维度是否有意义由所有观测值在每一维度上的离散程度(方差,variance)决定。
PCA步骤:
假设现在有这么一组数据
![c4d4a29f4f70c2e72e5e89ed0dbab746.png](https://i-blog.csdnimg.cn/blog_migrate/a534dc04a25262919a2f4dacb36a26b3.png)
第一步:数据中心化,分别求X1和X2的均值,然后对于所有的样本数据都减去对应的均值,如样本数据
所以中心化的数据如下图所示
![2bd65cd277c126a8adf3088065e55e67.png](https://i-blog.csdnimg.cn/blog_migrate/24bcc064d6ec02ddb5d5d2f964cc0c36.png)
第二步,求X1和X2的协方差矩阵