第三十讲：奇异值分解

本讲我们介绍将一个矩阵写为$A=U\Sigma V^T$，分解的因子分别为正交矩阵、对角矩阵、正交矩阵，与前面几讲的分解不同的是，这两个正交矩阵通常是不同的，而且这个式子可以对任意矩阵使用，不仅限于方阵、可对角化的方阵等。

• 在正定一讲中（第二十八讲）我们知道一个正定矩阵可以分解为$A=Q\Lambda Q^T$的形式，由于$A$对称性其特征向量是正交的，且其$\Lambda$矩阵中的元素皆为正，这就是正定矩阵的奇异值分解。在这种特殊的分解中，我们只需要一个正交矩阵$Q$就可以使等式成立。

• 在对角化一讲中（第二十二讲），我们知道可对角化的矩阵能够分解为$A=S\Lambda S^T$的形式，其中$S$的列向量由$A$的特征向量组成，但$S$并不是正交矩阵，所以这不是我们希望得到的奇异值分解。

我们现在要做的是，在$A$的列空间中找到一组特殊的正交基$v_1,v_2,\cdots ,v_r$，这组基在$A$的作用下可以转换为$A$的行空间中的一组正交基$u_1,u_2,\cdots ,u_r$。

用矩阵语言描述为$A[v_1{v}_2\cdots v_r]=[{\sigma }_1{u}_1{\sigma }_2{u}_2\cdots {\sigma }_r{u}_r]=[u_1{u}_2\cdots u_r]\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_n\end{array}\right]$，即$A{v}_1={\sigma }_1{u}_1,A{v}_2={\sigma }_2{u}_2,\cdots ,A{v}_r={\sigma }_r{u}_r$，这些$\sigma$是缩放因子，表示在转换过程中有拉伸或压缩。而$A$的左零空间和零空间将体现在$\sigma$的零值中。

另外，如果算上左零、零空间，我们同样可以对左零、零空间取标准正交基，然后写为$A[v_1{v}_2\cdots v_r{v}_{r+1}\cdots v_m]=[u_1{u}_2\cdots u_r{u}_{r+1}\cdots u_n]\left[\begin{array}{cccc}{\sigma }_1& & & \\ & \ddots & & \\ & & {\sigma }_r& \\ & & & \left[\begin{array}{c}0\end{array}\right]\end{array}\right]$，此时$U$是$m\times m$正交矩阵，$\Sigma$是$m\times n$对角矩阵，$V^T$是$n\times n$正交矩阵。

最终可以写为$AV=U\Sigma$，可以看出这十分类似对角化的公式，矩阵$A$被转化为对角矩阵$\Sigma$，我们也注意到$U,V$是两组不同的正交基。（在正定的情况下，$U,V$都变成了$Q$。）。进一步可以写作$A=U\Sigma V^{-1}$，因为$V$是标准正交矩阵所以可以写为$A=U\Sigma V^T$

计算一个例子，$A=\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]$，我们需要找到：

• 行空间${\mathbb{R}}^2$的标准正交基$v_1,v_2$；
• 列空间${\mathbb{R}}^2$的标准正交基$u_1,u_2$；
• ${\sigma }_1>0,{\sigma }_2>0$。

在$A=U\Sigma V^T$中有两个标准正交矩阵需要求解，我们希望一次只解一个，如何先将$U$消去来求$V$？

这个技巧会经常出现在长方形矩阵中：求$A^{T}A$，这是一个对称正定矩阵（至少是半正定矩阵），于是有$A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T$，由于$U$是标准正交矩阵，所以$U^{T}U=I$，而${\Sigma }^T\Sigma$是对角线元素为${\sigma }^2$的对角矩阵。

现在有$A^{T}A=V\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & {\sigma }_n\end{array}\right]V^T$，这个式子中$V$即是$A^{T}A$的特征向量矩阵而${\Sigma }^2$是其特征值矩阵。

同理，我们只想求$U$时，用$A{A}^T$消掉$V$即可。

我们来计算$A^{T}A=\left[\begin{array}{cc}4& -3\\ 4& 3\end{array}\right]\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]=\left[\begin{array}{cc}25& 7\\ 7& 25\end{array}\right]$，对于简单的矩阵可以直接观察得到特征向量$A^{T}A\left[\begin{array}{c}1\\ 1\end{array}\right]=32\left[\begin{array}{c}1\\ 1\end{array}\right],A^{T}A\left[\begin{array}{c}1\\ -1\end{array}\right]=18\left[\begin{array}{c}1\\ -1\end{array}\right]$，化为单位向量有${\sigma }_1=32,v_1=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right],{\sigma }_2=18,v_2=\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}\end{array}\right]$。

到目前为止，我们得到$\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]=\left[\begin{array}{cc}{u}_{?}& u_{?}\\ u_{?}& u_{?}\end{array}\right]\left[\begin{array}{cc}\sqrt{32}& 0\\ 0& \sqrt{18}\end{array}\right]\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right]$，接下来继续求解$U$。

$A{A}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U{\Sigma }^2{U}^T$，求出$A{A}^T$的特征向量即可得到$U$，$\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]\left[\begin{array}{cc}4& -3\\ 4& 3\end{array}\right]=\left[\begin{array}{cc}32& 0\\ 0& 18\end{array}\right]$，观察得$A{A}^T\left[\begin{array}{c}1\\ 0\end{array}\right]=32\left[\begin{array}{c}1\\ 0\end{array}\right],A{A}^T\left[\begin{array}{c}0\\ 1\end{array}\right]=18\left[\begin{array}{c}0\\ 1\end{array}\right]$。但是我们不能直接使用这一组特征向量，因为式子$AV=U\Sigma$明确告诉我们，一旦$V$确定下来，$U$也必须取能够满足该式的向量，所以此处$A{v}_2=\left[\begin{array}{c}0\\ -\sqrt{18}\end{array}\right]=u_2{\sigma }_2=\left[\begin{array}{c}0\\ -1\end{array}\right]\sqrt{18}$，则$u_1=\left[\begin{array}{c}1\\ 0\end{array}\right],u_2=\left[\begin{array}{c}0\\ -1\end{array}\right]$。（这个问题在本讲的官方笔记中有详细说明。）

• 补充：$AB$的特征值与$BA$的特征值相同，证明来自Are the eigenvalues of AB equal to the eigenvalues of BA? (Citation needed!)：

  取$\lambda \ne 0$，$v$是$AB$在特征值取$\lambda$时的的特征向量，则有$Bv\ne 0$，并有$\lambda Bv=B(\lambda v)=B(ABv)=(BA)Bv$，所以$Bv$是$BA$在特征值取同一个$\lambda$时的特征向量。

  再取$AB$的特征值$\lambda =0$，则$0=\det AB=\det A\det B=\det BA$，所以$\lambda =0$也是$BA$的特征值，得证。

最终，我们得到$\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]\left[\begin{array}{cc}\sqrt{32}& 0\\ 0& \sqrt{18}\end{array}\right]\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right]$。

再做一个例子，$A=\left[\begin{array}{cc}4& 3\\ 8& 6\end{array}\right]$，这是个秩一矩阵，有零空间。$A$的行空间为$\left[\begin{array}{c}4\\ 3\end{array}\right]$的倍数，$A$的列空间为$\left[\begin{array}{c}4\\ 8\end{array}\right]$的倍数。

• 标准化向量得$v_1=\left[\begin{array}{c}0.8\\ 0.6\end{array}\right],u_1=\frac{1}{\sqrt{5}}\left[\begin{array}{c}1\\ 2\end{array}\right]$。
• $A^{T}A=\left[\begin{array}{cc}4& 8\\ 3& 6\end{array}\right]\left[\begin{array}{cc}4& 3\\ 8& 6\end{array}\right]=\left[\begin{array}{cc}80& 60\\ 60& 45\end{array}\right]$，由于$A$是秩一矩阵，则$A^{T}A$也不满秩，所以必有特征值$0$，则另特征值一个由迹可知为$125$。
• 继续求零空间的特征向量，有$v_2=\left[\begin{array}{c}0.6\\ -0,8\end{array}\right],u_1=\frac{1}{\sqrt{5}}\left[\begin{array}{c}2\\ -1\end{array}\right]$

最终得到$\left[\begin{array}{cc}4& 3\\ 8& 6\end{array}\right]=\left[\begin{array}{cc}1& \underline{2}\\ 2& \underline{-1}\end{array}\right]\left[\begin{array}{cc}\sqrt{125}& 0\\ 0& \underline{0}\end{array}\right]\left[\begin{array}{cc}0.8& 0.6\\ \underline{0.6}& \underline{-0.8}\end{array}\right]$，其中下划线部分都是与零空间相关的部分。

• $v_1,\cdots ,v_r$是行空间的标准正交基；
• $u_1,\cdots ,u_r$是列空间的标准正交基；
• $v_{r+1},\cdots ,v_n$是零空间的标准正交基；
• $u_{r+1},\cdots ,u_m$是左零空间的标准正交基。

通过将矩阵写为$A{v}_i={\sigma }_i{u}_i$形式，将矩阵对角化，向量$u,v$之间没有耦合，$A$乘以每个$v$都能得到一个相应的$u$。