SVD专题1 算子的奇异值分解——矩阵形式的推导

SVD专题1 算子的奇异值分解——矩阵形式的推导

前言 Preface

《Linear Algebra Done Right》一书在讲述算子的奇异值分解时并未给出其矩阵分解形式，仅是在结构上予以阐明：算子奇异值分解的核心在于使用两组基。以下讨论旨在总结奇异值分解推导的整个流程并给出算子奇异值分解的矩阵形式。

几点说明

• 本文讨论的范围局限于算子的奇异值分解，而非更广泛的线性映射的奇异值分解。
• 本文的叙述方式不同于通常教材的做法，即并不事先罗列为了得到目标结论所需的预备知识，而是一环扣一环反向补充每一个步骤所需的知识。
• 为方便讨论，以下涉及到的算子均默认是复向量空间 $V$ 中的算子，故不在每句话中重复指明复向量空间 $V$ 上的算子

预备知识 Prerequisite

不同教材中给出算子奇异值分解的方式不同，本文将在算子极分解的基础上引出奇异值分解。

1.1 极分解 Polar Decomposition

算子极分解：一个算子 $T$ 总是可以分解成一个等距同构 $S$ 和一个正算子 $\sqrt{T^{\ast }T}$ 的乘积。
$$T=S\sqrt{T^{\ast }T}$$
现在我们遇到了两个新概念，等距同构 $S$ 和正算子 $\sqrt{T^{\ast }T}$ ，我们先来讨论前者。

1.2 等距同构 Unitary Operator

1.2.1 什么是等距同构

我们先给出等距同构的定义：若算子 $S$ 能够保持范数不变，则称 $S$ 为等距同构，即：
$$||Sv||=||v||$$

等距同构 $S$ 是怎样刻画的呢？其实就是在问一个算子 $S$ 是等距同构的话有哪些等价条件呢？这里我们列举以下有助于理解我们后续推导的等价关系：

1.2.2 等距同构的刻画

算子 $S$ 是等距同构 $⟺$

（1）向量空间中的规范正交基 { e 1 , ⋯   , e n } \{e_1, \cdots, e_n \} { e1​,⋯,en​} 被 $S$ 作用后仍然是规范正交基 { S e 1 , ⋯   , S e n } \{Se_1, \cdots, Se_n \} { Se1​,⋯,Sen​} ，不妨记作 { f 1 , ⋯   , f n } \{f_1, \cdots, f_n \} { f1​,⋯,fn​} 。

（2）$S^{\ast }S=S{S}^{\ast }=I,or{S}^{\ast }=S$

注意观察，（2）其实告诉我们了 $S$ 是一个正规算子，在此基础上多了一些别的性质，那么我们就可以在先前已经能够完全描述的正规算子的基础上来描述 $S$ 。

重要补充：正规算子与复谱定理

正规算子：若算子 $T$ 和它的伴随可交换，称算子 $T$ 为正规算子，即：$T^{\ast }T=T{T}^{\ast }$

之所以我们能够完全描述正规算子，正是由于复谱定理：复向量空间中的正规算子 $T$ 可以被一组规范正交基给对角化。

小声哔哔时间：以后我们就清楚了，凡是遇到了正规算子，就知道它可以被一组规范正交基给对角化，我们要训练自己的小脑瓜，直到把这句话刻在脑子里，变成一种本能反应。

1.2.3 等距同构的描述

等距同构 $S$ 的描述： $S$ 可以被一组规范正交基给对角化，且相应的本征值的绝对值为1。

请拿出小本本记住这句话的前半部分，我们后面会用到的：即 $S$ 可以被一组规范正交基给对角化。

1.3 正算子 Positive Operator

再来谈一谈正算子的刻画及其描述。

1.3.1 什么是正算子

我们先给出正算子的定义：若自伴算子 $T$ 满足 $⟨Tv,v⟩\ge 0$ 恒成立，则称 $T$ 是正算子。

温馨小提示：由于自伴算子满足 $T^{\ast }=T$ ，所以自伴算子都是正规算子。（^_^）

1.3.2 正算子的刻画

为了方便理解和记忆，这里先摆出书中重要的一种类比关系：

$正规算子\rightleftharpoons 实数$
$正算子$