特征值分解：特征值，特征向量，特征向量矩阵

特征值，特征向量，特征向量矩阵
一图胜千言：

特征向量矩阵S，由矩阵A的所有线性无关的特征向量按列排列（从大到小）组成的矩阵。
特征值矩阵，有矩阵A的所有特征值放在对角线位置组成的对角矩阵。

1. 特征值和特征向量
   
   
2. 特征值分解的物理意义（转载）

矩阵的特征值分解目的就是提取出一个矩阵最重要的特征。

这其实是在平面上对一个轴进行的拉伸变换（如蓝色的箭头所示），在图中，蓝色的箭头是一个最主要的变化方向（变化方向可能有不止一个），如果我们想要描述好一个变换，那我们就描述好这个变换主要的变化方向就好了。

反过头来看看之前特征值分解的式子，分解得到的Σ矩阵是一个对角阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。

当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换，这个线性变化可能没法通过图片来表示，但是可以想象，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵（变换）。也就是之前说的：提取这个矩阵最重要的特征。

总结一下，特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多的事情。不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。

什么是特征矩阵？
矩阵里涉及“特征”二字的都和λE-A有关,行列式|λE-A|是关于λ的一个多项式,称为A的特征多项式, 而|λE-A|=0是一个方程,它的根就称作A的特征值,同理矩阵λE-A就称为A的特征矩阵。

• 补充一：2. 中提到的“Q是这个矩阵A 的特征向量组成的矩阵”，这里特征向量如何组成矩阵呢？
  我们知道，特征向量对应的特征值是唯一的。所以，这里将按特征值从大到小排序，再把排序后的特征值对应的特征向量（取前N个）组成新矩阵。

• 补充二： 如何求矩阵的特征向量？概括如下：
  1.先求出矩阵的特征值: |A-λE|=0
  2.对每个特征值λ求出(A-λE)X=0的基础解系a1,a2,…,as
  3.A的属于特征值λ的特征向量就是 a1,a2,…,as 的非零线性组合

• 补充三：$A=Q\wedge Q^{-1}$ 的官方说明 。这里的Q如果是对称阵可以写成$A=Q\wedge Q^T$，具体见官方说明。