SVD--奇异值分解详细推导与证明

1什么是奇异值

令 $A$ 是 $m\times n$ 矩阵, 那么 $A^{\mathrm{T}}A$ 是对称矩阵且可以正交对角化. 令 { v 1 , ⋯   , v n } \left\{\boldsymbol{v}_1, \cdots, \boldsymbol{v}_n\right\} {v1​,⋯,vn​} 是 ${\mathbb{R}}^n$ 的单位正交基且构成 $A^{\mathrm{T}}A$ 的特征向量， ${\lambda }_1,\cdots ,{\lambda }_n$ 是 $A^{\mathrm{T}}A$ 对应的特征值，那么对 $1⩽i⩽n$,
$$\begin{array}{rlrl}{\Vert A{\mathbf{v}}_i\Vert }^2& ={\left(A{\mathbf{v}}_i\right)}^{\mathrm{T}}A{v}_i={\mathbf{v}}_i^{\top }{A}^{\top }A{\mathbf{v}}_i& & \\ & ={\mathbf{v}}_i^{\top }\left({\lambda }_i{\mathbf{v}}_i\right)& & \text{ 由于 }{\mathbf{v}}_i\text{ 是 }{A}^{\top }A\text{ 的特征向量 }\\ & ={\lambda }_i& & \text{ 由于 }{\mathbf{v}}_i\text{ 是单位向量 }\end{array}$$

所以, $A^{\mathrm{T}}A$ 的所有特征值都非负. 如果必要, 通过重新编号, 可以假设特征值的重新排列满足
$${\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_n⩾0$$
$A$ 的奇异值是 $A^{\mathrm{T}}A$ 的特征值的平方根, 记为 ${\sigma }_1,\cdots ,{\sigma }_n$, 且它们用递减顺序排列, 也就是对 $1⩽i⩽n,{\sigma }_i=\sqrt{{\lambda }_i}$. 由（2）可知, $A$ 的奇异值是向量 $A{\mathbf{v}}_1,\cdots ,A{\mathbf{v}}_n$ 的长度.

2讨论 { A v 1 , ⋯   , A v r } \left\{A \boldsymbol{v}_1, \cdots, A \boldsymbol{v}_r\right\} {Av1​,⋯,Avr​}

若 { v 1 , ⋯   , v n } \left\{v_1, \cdots, v_n\right\} {v1​,⋯,vn​} 是包含 $A^{\mathrm{T}}A$ 的特征向量的 ${\mathbb{R}}^n$ 上的单位正交基, 重新整理使得对应的 $A^{\top }A$ 的特征值满足 ${\lambda }_1⩾\cdots ⩾{\lambda }_n$. 假若 $A$ 有 $r$ 个非零奇异值, 那么 { A v 1 , ⋯   , A v r } \left\{A \boldsymbol{v}_1, \cdots, A \boldsymbol{v}_r\right\} {Av1​,⋯,Avr​} 是 $\mathrm{Col}A$ 的一个正交基, 且 rank $A=r$.
证明： 由于当 $i\ne j$ 时, $v_i$ 和 ${\lambda }_j{v}_j$ 正交, 所以
$${\left(A{\mathbf{v}}_i\right)}^{\mathrm{T}}\left(A{\mathbf{v}}_j\right)={\mathbf{v}}_i^{\mathrm{T}}{A}^{\mathrm{T}}A{\mathbf{v}}_j={\mathbf{v}}_i^{\mathrm{T}}\left({\lambda }_j{\mathbf{v}}_j\right)=0$$

从而 { A v 1 , ⋯   , A v n } \left\{A \boldsymbol{v}_1, \cdots, A \boldsymbol{v}_n\right\} {Av1​,⋯,Avn​} 是一个正交基. 更进一步，由于向量 $A{\mathbf{v}}_1,\cdots ,A{\mathbf{v}}_n$ 的长度是 $A$ 的奇异值，且因为有 $r$个非零奇异值, 因此 $A{\mathbf{v}}_i\ne 0$ 的充分必要条件是 $1⩽i⩽r$. 所以 $A{\mathbf{v}}_1,\cdots ,A{\mathbf{v}}_r$ 是线性无关向量, 且属于 $\mathrm{Col}A$. 最后, 对任意属于 $\mathrm{Col}A$ 的 $\mathbf{y}$, 比如 $\mathbf{y}=A\mathbf{x}$, 我们可以写出 $\mathbf{x}=c_1{\mathbf{v}}_1+\cdots +c_n{\mathbf{v}}_n$, 且
$$\begin{array}{rl}\mathbf{y}& =A\mathbf{x}=c_{1}A{\mathbf{v}}_1+\cdots +c_{r}A{\mathbf{v}}_r+c_{r+1}A{\mathbf{v}}_{r+1}+\cdots +c_{n}A{\mathbf{v}}_n\\ & =c_{1}A{\mathbf{v}}_1+\cdots +c_{r}A{\mathbf{v}}_r+0+\cdots +0\end{array}$$

这样, $\mathbf{y}$ 在 Span ⁡ { A v 1 , ⋯   , A v r } \operatorname{Span}\left\{A \boldsymbol{v}_1, \cdots, A \boldsymbol{v}_r\right\} Span{Av1​,⋯,Avr​} 中, 这说明 { A v 1 , ⋯   , A v r } \left\{A \boldsymbol{v}_1, \cdots, A \boldsymbol{v}_r\right\} {Av1​,⋯,Avr​} 是 $\mathrm{Col}A$ 的一个（正交）基. 因此 $\mathrm{rank}A=$ $\dim \mathrm{Col}A=r$.

3继续讨论

对每一个 $m\times n$ 矩阵 $\mathbf{A}$, 存在标准正交集 { u 1 , ⋯   \left\{\boldsymbol{u}_1, \cdots\right. {u1​,⋯, u m } , { v 1 , ⋯   , v n } \left.\boldsymbol{u}_m\right\},\left\{\boldsymbol{v}_1, \cdots, \boldsymbol{v}_n\right\} um​},{v1​,⋯,vn​}, 以及非负数 ${\sigma }_1⩾\cdots ⩾{\sigma }_n⩾0$, 令
$$\begin{array}{c}\mathbf{A}{\mathbf{v}}_1={\sigma }_1{\mathbf{u}}_1\\ \mathbf{A}{\mathbf{v}}_2={\sigma }_2{\mathbf{u}}_2\\ ⋮\\ \mathbf{A}{\mathbf{v}}_n={\sigma }_n{\mathbf{u}}_n\end{array}$$
根据2中的讨论： { A v 1 , ⋯   , A v n } \left\{A \boldsymbol{v}_1, \cdots, A \boldsymbol{v}_n\right\} {Av1​,⋯,Avn​} 是一个正交基. 更进一步，由于向量 $A{\mathbf{v}}_1,\cdots ,A{\mathbf{v}}_n$ 的长度是 $A$ 的奇异值，根据上述等式有：${\mathbf{u}}_i$ 为一组单位正交基。
${\mathbf{v}}_i$ 称为是矩阵 $\mathbf{A}$ 的右奇异向量, 将${\mathbf{u}}_i$ 是 $\mathbf{A}$的左奇异向量, $s_i$ 是 $\mathbf{A}$ 的奇异值(singular value).

4svd定义及证明

设 $A$ 是秩为 $r$ 的 $m\times n$ 矩阵, 那么存在一个 $m\times n$ 矩阵 $\Sigma$, 其中 $D$ 的对角线元素是 $A$ 的前 $r$ 个奇异值, ${\sigma }_1⩾{\sigma }_2⩾\cdots ⩾{\sigma }_r>0$, 并且存在一个 $m\times m$ 正交矩阵 $U$ 和一个 $n\times n$ 正交矩阵 $V$ 使得 $A=U\Sigma V^{\mathrm{T}}$.

任何分解 $A=U\Sigma V^{\mathrm{T}}$ 称为 $A$ 的一个奇异值分解 (或 SVD), 其中 $U$ 和 $V$ 是正交矩阵, $\Sigma$ , $D$ 具有正的对角线元素. 矩阵 $U$ 和 $V$ 不是由 $A$ 惟一确定的, 但 $\Sigma$ 的对角线元素必须是 $A$ 的奇异值. 这样的一个分解中 $U$ 的列称为 $A$ 的左奇异向量, 而 $V$ 的列称为 $A$ 的右奇异向量.
根据上面的讨论，很容易进行证明。
证明：
假设 ${\lambda }_i$ 和 ${\mathbf{v}}_i$ 如上述讨论 , 使得 { A v 1 , ⋯   , A v r } \left\{A \boldsymbol{v}_1, \cdots, A \boldsymbol{v}_r\right\} {Av1​,⋯,Avr​} 是 $\mathrm{Col}A$ 的正交基. 将每一个 $A{\mathbf{v}}_i$ 单位化得到一个单位正交基 { u 1 , ⋯   , u r } \left\{\boldsymbol{u}_1, \cdots, \boldsymbol{u}_r\right\} {u1​,⋯,ur​}, 其中
$$u_i=\frac{1}{\Vert A{v}_i\Vert }A{\mathbf{v}}_i=\frac{1}{{\sigma }_i}A{\mathbf{v}}_i$$

而且
$$A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i(1⩽i⩽r)$$

现在将 { u 1 , ⋯   , u r } \left\{\boldsymbol{u}_1, \cdots, \boldsymbol{u}_r\right\} {u1​,⋯,ur​} 扩充为 ${\mathbb{R}}^m$ 的单位正交基 { u 1 , ⋯   , u m } \left\{\boldsymbol{u}_1, \cdots, \boldsymbol{u}_m\right\} {u1​,⋯,um​}, 并且取
$$U=\left[\begin{array}{llll}{\mathbf{u}}_1& {\mathbf{u}}_2& \cdots & {\mathbf{u}}_m\end{array}\right]\text{ 和 }V=\left[\begin{array}{llll}{\mathbf{v}}_1& {\mathbf{v}}_2& \cdots & {\mathbf{v}}_n\end{array}\right]$$

由构造可知, $U$ 和 $V$ 是正交矩阵
$$AV=\left[\begin{array}{llllll}A{\mathbf{v}}_1& \cdots & A{\mathbf{v}}_r& 0& \cdots & 0\end{array}\right]=\left[\begin{array}{llllll}{\sigma }_1{\mathbf{u}}_1& \cdots & {\sigma }_r{\mathbf{u}}_r& 0& \cdots & 0\end{array}\right]$$

设 $D$ 是对角线元素为 ${\sigma }_1,\cdots ,{\sigma }_r$ 的对角矩阵, 那么
$$\begin{array}{rl}U\Sigma & =\left[\begin{array}{lll}{\mathbf{u}}_1& {\mathbf{u}}_2\cdots & {\mathbf{u}}_m\end{array}\right]\left[\begin{array}{lllll}{\sigma }_1& & & 0& \\ & {\sigma }_2& & & 0\\ & & \ddots & & \\ 0& & & {\sigma }_r& \\ & 0& & & 0\end{array}\right]\\ & =\left[{\sigma }_1{\mathbf{u}}_1\cdots {\sigma }_r{\mathbf{u}}_{r}0\cdots 0\right]\end{array}$$

由于 $V$ 是一个正交矩阵, 因此 $U\Sigma V^{\mathrm{T}}=AV{V}^{\mathrm{T}}=A$.

5讨论${\mathbf{u}}_i$的性质

由于$\mathbf{A}{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$
{ v 1 , ⋯   , v n } \left\{\boldsymbol{v}_1, \cdots, \boldsymbol{v}_n\right\} {v1​,⋯,vn​} 是 ${\mathbb{R}}^n$ 的单位正交基且构成 $A^{\mathrm{T}}A$ 的特征向量, ${\lambda }_1,\cdots ,{\lambda }_n$ 是 $A^{\mathrm{T}}A$ 对应的特征值
所以
$$\begin{array}{r}A{A}^{\mathrm{T}}{u}_i=\frac{1}{{\sigma }_i}A(A^{\mathrm{T}}A{v}_i)=\frac{1}{{\sigma }_i}A{\lambda }_i{v}_i={\lambda }_i\frac{1}{{\sigma }_i}{\sigma }_i{u}_i={\lambda }_i{u}_i\end{array}$$

所以$u_i$为$A{A}^{\mathrm{T}}$的特征向量，${\lambda }_i$为其特征值

6svd分解是唯一的吗？

对于给定矩阵 $\mathbf{A},\mathrm{SVD}$ 不唯一. 例如在定义方程 $\mathbf{A}{\mathbf{v}}_1=s_1{\mathbf{u}}_1$ 中, 用 $-{\mathbf{v}}_1$ 代替 ${\mathbf{v}}_1$, 用 $-{\mathbf{u}}_1$ 代替 ${\mathbf{u}}_1$ 不改变相等性, 但是改变矩阵 $\mathbf{U}$ 和 $\mathbf{V}$.
同样对于$A^{\mathrm{T}}A$的特征向量$V$,$A{A}^{\mathrm{T}}$的特征向量$U$都存在正负号问题，如果同时求$V,U$，此时不能确定SVD中$V,U$的正负号，此种做法是错误的。

7svd的一般求解步骤

(1)求得矩阵$A^{\mathrm{T}}A$的特征值与特征向量
(2)将矩阵$A^{\mathrm{T}}A$的特征值按照降序排列，获取奇异值${\sigma }_i$,得到对应的特征向量即$v_i$
(3)根据奇异值分解定义：
$A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i(1⩽i⩽r)$求得$u_i$

参考：
《线性代数及其应用》7.4
《数值分析》12.3
1
2