主成分分析（PCA）

目录

引子

PCA是什么？

好坐标系的评价标准

实现PCA的步骤

数据线性变换

拉伸

 旋转​编辑

白数据-->自己的数据

自己的数据--> 白数据

如何求R

协方差矩阵

协方差的特征向量

PCA求解步骤

PCA——3维降到2维

PCA与SVD

---

数据降维的算法！

引子

 PCA是什么？

答：找坐标系！

 

 

注意：要找到从一个坐标系到另一个坐标系的旋转角度和平移，使得在原始坐标系中得数据投影到新的坐标系上的数据要分散开！若是投影到新的坐标轴上的数据集中在一块的话，说明原始坐标系中的信息，没有被完全保留下来！

好坐标系的评价标准

 新坐标系的第一个维度叫做主成分1，第二个维度叫做主成分2！

实现PCA的步骤

数据线性变换

拉伸

 旋转

 白数据-->自己的数据

 

 注意：拉伸决定了方差最大的方向是横或者纵；旋转决定了方差最大的方向的角度！

立即推：就是要找到旋转的角度R，找到R后再进行拉伸，就可以找到最好的坐标系！

自己的数据--> 白数据

 

 如何求R

 

 协方差矩阵

 

 注意：左边第一个图是两个轴的数据是独立的，中间的图两个轴是正相关的，第三张图两个轴是负相关的！

 

 

 协方差的特征向量

 

 

 

 

 

 PCA求解步骤

 PCA——3维降到2维

 

 

 PCA与SVD

 注意：SVD中的V矩阵就是PCA的主成分，即使旋转矩阵R！