PCA算法之特征值分解

奇异值分解和特征值分解都是对矩阵进行分解的不同方法，所谓分解，即使将原矩阵拆分成另一种表达方式，且新的表达方式比原矩阵更简单，更具有实际意义。奇异值分解对象可以使任意n*m维的矩阵，而特征值分解只能针对n*n的方阵，特征值分解从某种意义上来说可以算是奇异值分解的一种特殊情况，所以下面先对特征值分解进行一个描述。

 

对角阵：

其实这种矩阵有特殊性，比如除了其主对角线元素外的所有元素都是0，这种矩阵我们称之为对角阵。计算方便。

 

一个矩阵是否能相似对角化是有条件的，即能够找到这样一组基，使得该矩阵对应的线性变换对于该组基上的每个向量都是一个缩放动作。

 

相似对角阵：

一个矩阵可以看成一个线性变换。它的特征向量代表缩放的方向，特征值代表缩放的大小。

特征向量也可以表一组基,表示为坐标系b。设有两个坐标系，a是二维正交坐标系，基为  ，有一个向量在A中是。则在B中可以表示为。 按照A矩阵的进行运动， 在各个基上分别伸缩其对应特征值的大小，再乘以，既将坐标回到a坐标系。

 

最后看一下这个特征分解的形式，中间的对角阵其实告诉了我们这个线性变换的变换程度，而两边对应的基变换矩阵中的特征向量告诉了我们线性变换的变换角度等性质。这样一个比较复杂的矩阵变换通过特征分解，就能得到很好的解释。这也是PCA中能够使用该方法的原因之一。