SVD分解与PCA

PCA是数据重要特征的提取方法。在描述一个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，使得他人脑海里面就有一个较为清楚的认识。实际上，人脸特征有着无数种，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力。奇异值分解是一种有着明显物理意义的方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的乘积表示，这些小矩阵描述的是原矩阵的重要的特性。特征值分解和奇异值分解有着很紧密的关系，其目的是提取出矩阵最重要的特征。

一、奇异值与特征值基础知识：

1）特征值：

向量v是线性变换A的特征向量，如果满足：

称λ为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。通过特征值分解可将一个矩阵分解成下面的形式：

其中Q是A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。

矩阵M乘以一个向量(x,y)也就是对向量施加线性变换的结果是

如图所示

上面的矩阵是对称的，所以这个变换是一个对x，y轴的方向一个拉伸变换，当矩阵不是对称的时候，如矩阵：

描述的变换