矩阵的特征值分解、奇异值分解及其在PCA主成分分析中的应用

主成分分析是通过一组变量的线性组合来解释这组变量的协方差矩阵里面的变异性信息的。以此来达到数据的压缩和根据原变量前前系数大小对数据进行解释。

在多元统计分析的学习中，我们通常用主成分分析进行自变量多重共线性问题的处理，进行变量的约减后还可利于数据的聚类分析。

简要谈谈主成分分析里面会用到的数学知识：

首先是特征值以及特征向量的几何意义：

1.     矩阵乘法

在介绍特征值与特征向量的几何意义之前，先介绍矩阵乘法的几何意义。

矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度的新向量。在这个变化过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某些向量只发生伸缩变换，不产生旋转效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。

比如：，它对应的线性变换是下面的形式形式：

因为，这个矩阵乘以一个向量(x,y)的结果是：。由于矩阵M是对称的，所以这个变换是一个对 x , y 轴的一个拉伸变换。【当M中元素值大于1时，是拉伸；当值小于1时，是缩短】

那么如果矩阵M不是对称的࿰