奇异值分解（Singular Value Decomposition， SVD）

       今天来汇总一下线性代数奇异值分解的知识。

       与特征分解不同，奇异值分解(SVD)提供了将矩阵分解为奇异向量和奇异值的另一种方法并且应用更广泛。每个实矩阵都有一个奇异值分解，但特征值分解却不是这样。例如，如果一个矩阵不是方阵，特征分解就没有定义，我们必须使用奇异值分解来代替。

       回想一下，特征分解涉及到分析一个矩阵A来找出一个特征向量组成的矩阵V和一个特征值λ组成的向量，这样我们可以重写A为： 

   

      奇异值分解是类似的，只是这次我们写A是三个矩阵的乘积:

      假设A是一个m×n矩阵。然后U是一个m×m矩阵，D是一个m×n矩阵，V是一个n×n矩阵。每一个被定义的矩阵都有一个特殊的结构。矩阵U和V都被定义为正交矩阵。矩阵D被定义为一个对角矩阵，尤其注意D不一定是方阵。D对角线上的元素称为矩阵A的奇异值，U的列称为左奇异向量，V的列称为右奇异向量。

      我们可以用A的函数的特征分解来解释A的奇异值分解。A的左奇异向量是的特征向量。A的右奇异向量是的特征向量。A的非零奇异值是特征值的平方根，也是特征值的平方根（即矩阵和矩阵的非零特征值相同）。

      也许奇异值分解最有用的特征是我们可以用它将矩阵求逆推广到非方阵。