SVD原理及解线性方程组、PCA分析的应用

SVD原理

SVD定义

1、对于方阵，我们可以将其特征分解为：

    A=X∧X−1A=X∧X−1

• X的列：为A的特征向量
• ∧为对角矩阵：对角线上的值为A的特征值，按从大到小的顺序排列

2、对于普通矩阵，其总可以进行奇异值分解：

 

    A=UΣ

• 其中U 和V都为正交矩阵，Σ为对角矩阵
• 几何含义：

      表示找到了U和V这样两组基：A矩阵的作用是将一个向量从V这组正交基向量的空间旋转到U这组正交基向量的空间，并对每        个方向进行了一定的缩放(由Σ决定），缩放因子就是各个奇异值。如果V的维度比U 大，则表示还进行了投影。

奇异值分解：将一个矩阵原本混合在一起的三种作用效果，分解出来了。

SVD的分解示意图如下：

SVD性质

• 奇异值的比例不变性： 

       即αA的奇异值是A的奇异值的|α|倍

• 奇异值的旋转不变性： 

      若P是