矩阵的奇异值分解

定义

设$A\in C^{m\times n}$，则矩阵$A^{H}A$的$n$个特征值$\lambda _i$的算术平方根$\delta _{i}=\sqrt {\lambda _i}$叫做A的奇异值（Singular Value ）。

设$A\in C^{m\times n}$，则存在酉矩阵$U\in C^{m\times n}$和$V\in C^{m\times n}$使得

$$A=U\Sigma V^{H}$$ 式中 $\Sigma = \begin{bmatrix}\Sigma _1 & O\\O & O\\ \end{bmatrix}$，且 $\Sigma _{1}=diag(\sigma _{1}, \sigma _{2}, ..., \sigma _{r})$，其对角元素按照顺序 $$\sigma _{1}\geqq \sigma _{2}\geqq ...\geqq\sigma _{r}\gt 0, \quad r=rank(A)$$ 排列。
这就是所谓的矩阵的奇异值分解（Singular Value Decomposition，SVD）
注：酉矩阵是正交矩阵在复数域的推广。

求解

有两种求$V, U$的步骤：
1. 求$A^{H}A$的特征值及对应的特征向量，得到$V$. 其中非零向量特征值对应的特征向量构成矩阵$V_1$，由公式$U_{1}=AV_{1}S^{-1}$得到$AA^H$的非零特征值所对应的特征向量，其余的特征向量可以由Hermite矩阵的特征向量的正交性获得（显然不唯一）。
2. 求$AA^{H}$的特征值及对应的特征向量，得到$U$. 其中非零向量特征值对应的特征向量构成矩阵$U_1$，由公式$V_{1}=A^{H}U_{1}S^{-1}$得到$AA^{H}$的非零特征值所对应的特征向量，其余的特征向量可以由Hermite矩阵的特征向量的正交性获得（显然不唯一）。

---

在Matlab中可使用svd函数进行求解：

>> A = [1 0 1; 0 1 -1];
>> [U, S, V] = svd(A)

U =

   -0.7071    0.7071
    0.7071    0.7071


S =

    1.7321         0         0
         0    1.0000         0


V =

   -0.4082    0.7071   -0.5774
    0.4082    0.7071    0.5774
   -0.8165   -0.0000    0.5774