特征分解(Eigendecomposition)

        身为一个刚进入研究生学习的学生，在此记录下我的学习过程，目前在整理机器学习所需要的线代知识，所记录的线代知识大部分为考研之外的知识点。

       分解矩阵的方式可以向我们展示在矩阵的元素排列表示中不明显的那些信息。一种最广泛使用的矩阵分解称为特征分解，其中我们将一个矩阵分解成一组特征向量和特征值。方阵A的特征向量是一个非零向量v，并且乘A只改变v的比例：

Av = λv

      其中标量λ是这个特征向量所对应的特征值。我们也可以找到一个左特征向量使A = λ ，但我们通常关心的是右特征向量。如果v是A的特征向量，那么对于s∈R，任何缩放的向量sv也是特征向量，s ≠0。而且，sv仍然具有相同的特征值。由于这个原因，我们通常只寻找单位特征向量。

      令V=[,...,]，λ=[,...,] ，A的特征分解如下：

 

 

     每一个实对称矩阵都可以只用实值特征向量和特征值分解为一个表达式:

 

     其中Q是A的特征向量组成的正交矩阵，Λ是对角矩阵。特征值与Q的第i列中的特征向量相关联，记为。任何实对称矩阵A都保证有一个特征分解，但特征分解不一定是唯一的。如果任意两个或更多的特征向量共享相同的特征值，那么在它们张成的空间中的任意正交向量集也是具有那个特征值的特征向量，我们可以等价地用那些特征向量来选择Q。