常见ML算法 ---- PCA主成分分析（Principal components analysis）

上周，整理了一份1年多之前的关于LDA的学习记录，还有很多存货（都为之前学习周志华的机器学习时的笔记），后续一一发出，并不会涉及太多背景介绍，主要帮助自己记录并回顾，本次同样进行降维方法的介绍 (公式大部分是我用word写了后的截图，因为csdn不太好编辑公式)：

PCA意义解析：

PCA的核心思想是，将高维的数据投影到低维使得在低维空间尽量分得更开，及（各样本方差更大，保留更多信息），这其间需要求解一个投影矩阵W，而后使得各特征正交，且目标是，使下式（样本之间的方差*m,本来有一个除m的步骤，m不重要故此省略）。

                                                                                        

相对于LDA，PCA的使用更加广范，在大量的AI落地项目案例中，PCA广泛被使用来降低数据维度，在确保模型功能的同时减少计算资源的消耗，进而推动AI产品的落地。

原理解析：

为使得x经过映射矩阵后得到的z之间的方差尽量的大，故此可以表示为：

                                                     

即使得样本的投影点方差最大，故而找到需要优化的目标函数为投影后的样本Z的方差：