PCA理解

pca（Principal Component Analysis）即主成分分析法用于降维运算。深度学习的运算量常常随着维度的增加计算量将呈现指数级的增加，PCA利用正交基将维度进行优化，有效减少了运算量。那么PCA是如何实现降维的呢？

如果有兴趣，可以参考https://blog.csdn.net/program_developer/article/details/80632779介绍的比较全面。

PCA主要原理是数学上矩阵的特征值和特征向量理论。假如有n维记录，每条记录有m组数据。那么将每条记录作为一行可以形成一个n*m的矩阵。但是数学上只有方针可以求特征值和特征向量（不是方阵可以用奇异值分解的方法，这里不展开讨论）通过协方差矩阵，可以将这些矩阵转化为n*n的方阵。n维方阵就会有n个特征值和特征向量。这n个特征向量是相互正交的，可以以此作为一组基。n个特征值有大小，假如我们要进行降维到k，我们只需要选取最大的k个特征值（代表了矩阵在基中某方向投影最大，为何最大的特征值能代表主成分请参考https://blog.csdn.net/baimafujinji/article/details/79376378，方差越大越能表示数据的特征分布）得特征向量组成的矩阵k*n。利用k*n矩阵与原矩阵n*m相乘，得到k*m的矩阵（k<n).此时就实现了数据从n维度降低到k维度。那么k值如何选取呢？上述参考网址给了解释，就是根据相对误差的允许计算最小的k。

https://blog.csdn.net/hustqb/article/details/78394058该篇还介绍了PCA的优缺点。当数据高阶相关时，PCA降维效果不明显，可以参考更强大的KPCA(kernel Principal Component Analysis)法。另外该篇还强调该方法是一种无参数技术，即没有主观的参数输入，无法做出个性的算法。

以上是个人对PCA的了解，希望能有所帮助。