主成分分析（PCA）详解（附带详细公式推导）

主成分分析（PCA）详解

第十一次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。这一篇的部分内容来自于网上资料，以及自己的一些见解。作为降维方法的一种，后续还会持续更新同类算法。

预备知识：

这一部分首先介绍几何学中的投影长度计算以及线性代数中的协方差、矩阵的特征值与特征向量，最后介绍PCA的数据预处理和伸缩最大化问题。

计算投影长度

  图中，红色点表示样例$x_i$，蓝色点表示在$u_i$上的投影，$u_i$是直线的斜率也是直线的方向向量，而且是单位向量。蓝色点是在$u_i$上的投影点，离原点的距离即为投影长度。即原向量$x_i$，投影方向$u_i$，投影长度为$x_i^T{u}_i$。

协方差

  $▶$协方差计算公式：

  $▶$协方差矩阵：
　　假设，二维空间上的三个点$x_1=\left(x_{11},x_{12}\right)$、$x_2=\left(x_{21},x_{22}\right)$、$x_3=\left(x_{31},x_{32}\right)$，令$d_1=\left(x_{11},x_{21},x_{31}\right)$、$d_2=$