SVD专题2 线性映射的奇异值分解——矩阵形式的推导

---

2021-11-9 分割线

麻烦各位看官大大们多多点赞哦，让更多的人看到这篇文章~

以下是原文：

---

SVD专题2 线性映射的奇异值分解——矩阵形式的推导

前言 Preface

本讲不能和本系列的第1讲：SVD专题1 算子的奇异值分解——矩阵形式的推导_夏小正的鲜小海的博客-CSDN博客 采取同样的讲解策略，原因是线性映射不同于算子，涉及到维度的变化，倘若对线性代数的几个基本定理没有理解的话，很难看懂每一步都是想做什么。

几点说明：

第一点，为什么在第1讲的推导中用的是符号 $T$ ，这里是符号 $A$ 呢？

一方面是我在写这部分内容时参考的两大资料来源：線代啟示錄 和 一份 CMU 的课程讲义 Computer Science Theory for the Information Age, Spring 2012. 都是用的 $A$ ，另一方面是，符号 $T$ 其实是沿袭了 “Linear Algebra Done Right” 中将其视作算子或线性映射的习惯表达，而 SVD 在具体应用中基本都是在和矩阵打交道的，而用 $T$ 来表达矩阵的很少。这里为了与人们的习惯用法保持一致，故使用记号 $A$ 。

第二点，下面的出现的向量空间默认是复向量空间或复内积向量空间。

特别注意，本节中出现的 $A$ 有两重含义：当把 $A$ 看作代数语言，它表示一个抽象的线性映射；当使用矩阵语言，把 $A$ 视作该线性映射对应的矩阵表述，那么 $A$ 就是 ${\mathbb{C}}^{M\times N}$ 中的一个实实在在的矩阵。

预备知识 Prerequisite

2.1 秩-零定理 Rank-Nullity Theorem

作为后面推导的基石，一定要搞懂这个线性代数中最基本的一大定理。

考虑由 $n$ 维复向量空间 $V$ 到 $m$ 维复向量空间 $M$ 的一个线性映射 $A:V\mapsto W$。我们把 $V$ 中那些被 $A$ 映射到 $W$ 中 $0$ 向量的全体向量，叫做 $A$ 的零空间 $\mathrm{null}A$ （或称核空间 $\ker A$ ），把 $V$ 中所有向量都映射到 $W$ 中去，相应的被映射的值域，叫做 $A$ 的值空间 $\mathrm{range}A$ 。不难证明， $\ker A$ 是 $V$ 的一个子空间， $\mathrm{range}A$ 是 $W$ 的一个子空间，并且称值空间 $\mathrm{range}A$ 的维度为线性映射 $A$ 的秩，记作 $\mathrm{rank}A$ （不要忘了，子空间的维度 = 基中线性独立的向量的个数）。

秩零定理告诉我们， $V$ 的维度，一定等于 $\ker A$ 的维度与 $\mathrm{range}A$ 的维度之和，即：
$$n=\dim V=\dim \ker A+\dim \mathrm{range}A$$
这个定理的证明是很重要的，蕴含了一个很有用的想法，这个想法将作为后续 SVD 推导的出发点，有助于直观理解。现在给出该定理在代数视角下的证明。

如果设 $\ker A$ 的维度是 $p$ ，一组基为 { u 1 , . . . , u p } \{\mathbf{u_1}, ..., \mathbf{u_p}\} { u1​,...,up​} ，那么我们可以在这组基的基础上将其扩充成 $V$ 的一组基 { u 1 , . . . , u p , v 1 , . . . , v r } \{\mathbf{u_1}, ..., \mathbf{u_p}, \mathbf{v_1}, ..., \mathbf{v_r}\} { u1​,...,up​,v1​,...,vr​} ，即我们又新增了 $r$ 个线性独立的向量。那么 $V$ 的维度 $n=p+r$ 。其实不难看出，这里其实相当于构造出来了一个子空间 span ⁡ { v 1 , . . . , v r } \operatorname{span}\{\mathbf{v_1}, ..., \mathbf{v_r}\} span{ v1​,...,vr​} ，这个子空间把 { v 1 , . . . , v r } \{\mathbf{v_1}, ..., \mathbf{v_r}\} { v1​,...,vr​} 作为它的基。现在 $V$ 中就有两个子空间了，分别是 $\ker A$ 和 span ⁡ { v 1 , . . . , v r } \operatorname{span}\{\mathbf{v_1}, ..., \mathbf{v_r}\} span{ v1​,...,vr​} 。它们刚好凑成了二元直和分解， ker ⁡ A ⊕ span ⁡ { v 1 , . . . , v r } = V \operatorname{ker}{A} \oplus \operatorname{span}\{\mathbf{v_1}, ..., \mathbf{v_r}\}=V kerA⊕span{ v1​,...,vr​}=V 。直和在这里可以简单的理解为“互不隶属”。

既然有了一组基 { u 1 , . . . , u p , v 1 , . . . , v r } \{\mathbf{u_1}, ..., \mathbf{u_p}, \mathbf{v_1}, ..., \mathbf{v_r}\} { u1​,...,up​,v1​,...,vr​} ，很自然的想法是 $V$ 中的每一个向量 $\mathbf{v}$ 都可以写为基的线性组合：
$$\begin{array}{rl}A\mathbf{v}& =a_1{\mathbf{u}}_1+\cdots +a_p{\mathbf{u}}_{\mathbf{p}}+b_1{\mathbf{v}}_1+\cdots +b_r{\mathbf{v}}_{\mathbf{r}}\\ & =b_{1}A{\mathbf{v}}_1+\cdots +b_{r}A{\mathbf{v}}_{\mathbf{r}}\end{array}$$
第二个等号成立的原因是 $A$ 把 ${\mathbf{u}}_1$ 到 ${\mathbf{u}}_{\mathbf{p}}$ 都给映射为 $W$ 中的 $0$ 向量了，或者说每个 ${\mathbf{u}}_{\mathbf{i}}$ 都在 $\ker A$ 中。

上式说明 $\mathrm{range}A$ 其实就是 span ⁡ { b 1 A v 1 + ⋯ + b r A v r } \operatorname{span}\{b_1A\mathbf{v_1}+\cdots+b_rA\mathbf{v_r}\} span{ b1​Av1​+⋯+br​Avr​}。如果能够证明 { A v 1 , . . . , A v r } \{A\mathbf{v_1}, ..., A\mathbf{v_r}\} { Av1​,...,Avr​} 是线性独立集，那么 $\mathrm{range}A$ 的维度恰好就为 $r$ ，定理就得证了。下面证明 { A v 1 , . . . , A v r } \{A\mathbf{v_1}, ..., A\mathbf{v_r}\} { Av1​,...,Avr​} 的确是线性独立集，即 { A v 1 , . . . , A v r } \{A\mathbf{v_1}, ..., A\mathbf{v_r}\} { Av1​,...,Avr​} 是 $\mathrm{range}A$ 的一组基。

令： $c_{1}A{\mathbf{v}}_1+\cdots +c_{r}A{\mathbf{v}}_{\mathbf{r}}=0$ ，有：
$$\begin{array}{rl}& c_{1}A{\mathbf{v}}_1+\cdots +c_{r}A{\mathbf{v}}_{\mathbf{r}}=0\\ ⟺& A\left(c_1{\mathbf{v}}_1+\cdots +c_r{\mathbf{v}}_{\mathbf{r}}\right)=0\end{array}$$
意味着 $c_1{\mathbf{v}}_1+\cdots +c_r{\mathbf{v}}_{\mathbf{r}}$ 在 $\ker$