8.8 奇异值分解

　　在上一节，我们探讨了如何将矩阵分解成特征向量和特征值。还有另一种分解矩阵的方法，被称为奇异值分解（singular value decomposition,SVD），将矩阵分解为奇异向量（singular vector）和奇异值（singular value）。通过奇异值分解，我们会得到一些与特征分解相同类型的信息。然而，奇异值分解有更广泛的应用。每个实数矩阵都有一个奇异值分解，但不一定有特征分解。例如，非方阵的矩阵没有特征分解，这时我们只能使用奇异值分解。
　　回想一下，我们使用特征分解去分析矩阵$A$时，得到特征向量构成的矩阵$V$和特征值构成的向量$\lambda$，我们可以重新将$A$写作

$$A=Vdiag(\lambda)V^{-1}$$
　　奇异值分解是类似的，只不过这回我们将矩阵$A$分解成三个矩阵的乘积：
$$A=UDV^\mathrm T$$
　　假设A是一个$m\times n$的矩阵，那么$U$是一个$m \times m$的矩阵，$D$是一个$m\times n$的矩阵，$V$是一个$n \times n$矩阵。
　　这些矩阵中的每一个经定义后都拥有特殊的矩阵。矩阵$U$和$V$都被定义为正交矩阵，而矩阵$D$被定义为对角矩阵。注意，矩阵$D$不一定是方阵。
　　对角矩阵$D$对角线上的元素被称为矩阵$A$的奇异值（singular value）。矩阵$U$的列向量被称为左奇异向量（left singular vector），矩阵$V$的列向量被称为右奇异向量（right singular vector）。
　　事实上，我们可以用与$A$相关的特征分解去解释$A$的奇异值分解。$A$的左奇异向量是$AA^\mathrm T$的特征向量。$A$的右奇异向量是$A^\mathrm TA$的特征向量。$A$的非零奇异值是$A^\mathrm TA$特征值的平方根，同时也是$AA^\mathrm T$特征值的平方根。
　　SVD最有用的一个性质可能是拓展矩阵求逆到非方矩阵上。我们将在下一节中探讨。