PCA主成分分析算法原理讲解

pca主成分分析算法原理讲解

1、PCA算法 - 桂。 - 博客园
https://www.cnblogs.com/xingshansi/p/6445625.html

2、
https://zhuanlan.zhihu.com/p/32412043

一、基础概念

1、方差：

二、PCA讲解

1、概念由来

2、评价指标的确定

问题一：谁是优化目标

经过上述讲解，知道了，pca的本质是从一个空间映射到另一个空间，以达到降为的目的，减少计算量。但是怎样在达到降为的目的的同时，还能够保存原有数据的大多数特征呢？

问题二：上述当上述二维的情况变为多维时，优化目标又是啥？

问题一中，在二维降到一维的情况下，可以把问题 转化为 新生成的数据“方差大小问题”，但是在多维的情况下呢？这里就要引出协方差的概念了。
协方差：

好了，重点来了：
Y=PX
——P是新的空间的基
——X是原数据
——Y是新生成的数据矩阵，也就是降维后提取出来的特征，每个行向量代表一个特征；
要想说这些特征提取的好，每个特征都是线性独一无二的，则每个特征之间应该是线性无关，也就是协方差==0，那该怎样得到这样一批线性无关向量呢？这就又引出了 协方差矩阵，可以使用协方差矩阵解决这个问题。
eg:


所以，最终问题就转化为矩阵Y的协方差矩阵对角化：

问题三：如何求得一个矩阵P，使得满足上面要求？

1、首先还得再讲一个线性代数的性质： 对称矩阵对角化
https://zhuanlan.zhihu.com/p/34896186

2、由上述性质可知，P*P的转置矩阵为 单位矩阵 E。
故最终优化优化目标可以写为：

最后总结PCA算法流程：