PCA主成分分析最清晰推导证明过程！

写作目的

最近看PCA，觉得各个机器学习书上的证明都不够详细，总感觉看推导的过程中有知识断层的情况，最近又重新梳理了一遍矩阵分析的知识，终于把整个过程都推导了清楚。

知识预备

主成分分析证明

意义与目的

证明过程

结论

所以对X的降维过程，就是要求X与X转置相乘矩阵的特征值与特征值对应的特征向量对应的正交矩阵。

PCA过程

这是西瓜书上的PCA过程，其实通过上面的推导我们也能很自然的得出这个降维过程了，这里补充几个东西：
1、为什么进行中心化？
答：中心化之后对角线元素才能表示各个样本的方差，非对角线上的元素才能表征两者的协方差，否则处理就比较麻烦，当然也是可以处理的，但是根据奥卡姆法则，我们都最简单的处理方法
2、为什么计算样本的协方差阵
答：上面的推导过程已经提及
3、为神马要选d个lamda
答：我们是想降维呀~所以选出来的肯定要小于n呀。一般我们通过方差百分比去选。