奇异值分解之 Weyl 不等式及其变体

Title: 奇异值分解之 Weyl 不等式及其变体

---

引言

Weyl 不等式常用于扰动分析, 本博文整理 Weyl 不等式 (Weyl inequality, 或 Weyl 定理, Weyl theorem) 是为了 Frobenius-范数下奇异值低秩近似的证明.

主要涉及 Weyl 不等式两种变体形式:

- 特征值形式

- 奇异值形式

在正式开始 Weyl 不等式的了解前, 我们先看一下子空间相交定理, 作为 Weyl 不等式证明时所用之基础.

---

相关博文介绍

- 奇异值分解之常用结论

- 奇异值分解之 Courant-Fischer 定理及其变体

- 奇异值分解之 Weyl 不等式及其变体

- 奇异值分解之 Frobenious-范数下低秩近似的证明

I. 子空间相交 Subspace Intersection

1. 子空间相交引理

[Subspace intersection lemma]^[1] Let $V$ be a finite-dimensional vector space and let $S_1$ and $S_2$ be two given subspaces of $V$ . Then
$$\dim (S_1\cap S_2)+\dim (S_1+S_2)=\dim (S_1)+\dim (S_2)\text{\hspace{1em}(I-1)}$$
Rewriting this identity as,
$$\begin{array}{rl}\dim (S_1\cap S_2)& =\dim S_1+\dim S_2-\dim (S_1+S_2)\\ & \ge \dim S_1+\dim S_2-\dim V\end{array}\text{\hspace{1em}(I-2)}$$
That is to say, that if $\delta = \dim \mathit{S}_1 + \dim \mathit{S}_2 -\dim \mathit{V} \geq 1 $, then the subspace $S_1\cap S_2$ has dimension at least $\delta$.

If $S_1,S_2,\dots ,S_k$ are subspaces of $V$, an induction argument is
$$\dim (S_1\cap S_2\cap \dots \cap S_k)\ge \dim S_1+\dim S_2+\cdots +\dim S_k-(k-1)\dim V\text{\hspace{1em}(I-3)}$$
This shows that if $\delta =\dim S_1+\dim S_2+\cdots +\dim S_k-(k-1)\dim V\ge 1$, then $\dim (S_1\cap S_2\cap \dots \cap S_k)\ge \delta$. ($k\ge 2$)

Proof

式 (I-1) 和式 (I-2), 显然成立.

利用归纳法证明式 (I-3). 假设 $k-1$ 情况下成立, 即
$$\dim (S_1\cap S_2\cap \dots \cap S_{k-1})\ge \dim S_1+\dim S_2+\cdots +\dim S_{k-1}-(k-2)\dim V\text{\hspace{1em}(I-4)}$$
那么 $k$ 情况下, 由式 (I-2) 和式 (I-4) 可知
$$\begin{array}{rl}\dim (S_1\cap \dots \cap S_{k-1}\cap S_k)& =\dim \left((S_1\cap \dots \cap S_{k-1})\cap S_k\right)\\ \text{(I-2)}& \ge \dim (S_1\cap \dots \cap S_{k-1})+\dim (S_k)-\dim V\\ \text{(I-4)}& =\dim S_1+\cdots +\dim S_{k-1}+\dim S_k-(k-1)\dim V\end{array}$$
证毕.

---

2. 子空间相交定理

[Subspace intersection]^[1] Let $S_1,\dots ,S_k$ be given subspaces of ${\mathbb{R}}^n$. If $\delta =\dim (S_1)+\cdots +\dim S_k-(k-1)n\ge 1$, there are orthonormal vectors $x_1,\dots ,x_{\delta }$ such that $x_1,\dots ,x_{\delta }\in S_i$ for every $i=1,\dots ,k$. In particular, $S_1\cap \dots \cap S_k$ contains a unit vector.

Proof

首先, 集合 $S_1\cap \dots \cap S_k$ 是子空间.

应用子空间相交引理可知, $\dim (S_1\cap \dots \cap S_k)\ge \delta \ge 1$. 令 $x_1,\dots ,x_{\delta }$ 是子空间 $S_1\cap \dots \cap S_k$ 的任意的包含 $\delta$ 个元素的正交基.

证毕.

---

II. 特征值形式的 Weyl 不等式 Weyl’s Inequality for Eigenvalues

[Weyl’s inequality]^[2] Let $\mathbf{M}=\mathbf{N}+\mathbf{R}$, $\mathbf{N}$, and $\mathbf{R}$ be $n\times n$ symmetric matrices, with their respective eigenvalues ordered as ${\lambda }_1(\mathbf{M})\ge \dots \ge {\lambda }_n(\mathbf{M})$, ${\lambda }_1(\mathbf{N})\ge \dots \ge {\lambda }_n(\mathbf{N})$, and ${\lambda }_1(\mathbf{R})\ge \dots \ge {\lambda }_n(\mathbf{R})$.

Then the following inequalities hold:
$${\lambda }_i(\mathbf{N})+{\lambda }_n(\mathbf{R})\le {\lambda }_i(\mathbf{M})\le {\lambda }_i(\mathbf{N})+{\lambda }_1(\mathbf{R})\text{\hspace{1em}(II-0-1)}$$
for $i=1,\dots ,n$.

More generally,
$${\lambda }_j(\mathbf{N})+{\lambda }_k(\mathbf{R})\le {\lambda }_i(\mathbf{M})\le {\lambda }_r(\mathbf{N})+{\lambda }_s(\mathbf{R})\text{\hspace{1em}(II-0-2)}$$
for $j+k-n\ge i\ge r+s-1$.

In particular, if $\mathbf{R}$ is positive definite then plugging ${\lambda }_n(\mathbf{R})>0$ into the above inequalities leads to
$${\lambda }_i(\mathbf{M})>{\lambda }_i(\mathbf{N})\text{\hspace{1em}(II-0-3)}$$
for $i=1,\dots ,n$.

Proof

先证明一般形式 (II-0-2).

1. 一般形式的证明

一般形式 (II-0-2) 中又可分为两个不等式, 即

第一个不等式:
$${\lambda }_i(\mathbf{M})\ge {\lambda }_j(\mathbf{N})+{\lambda }_k(\mathbf{R}),(\text{for}j+k-n\ge i\ge 1)\text{\hspace{1em}(II-1-1)}$$
第二个不等式:
$${\lambda }_i(\mathbf{M})\le {\lambda }_r(\mathbf{N})+{\lambda }_s(\mathbf{R}),(\text{for}n\ge i\ge r+s-1)\text{\hspace{1em}(II-1-2)}$$

$i=1,\dots ,n$, 显然 $n\ge i\ge 1$.

---

A. 第一个不等式的证明

我们考虑利用 Courant-Fischer 定理 来证明, 故先要构建特殊子空间, 再由特殊子空间扩展到一般子空间, 最后完成证明.

因为 $\mathbf{M}$ 是对称矩阵, 故都存在着对应于特征值 ${\lambda }_i(\mathbf{M})$ 的正交特征向量 ${\mathbf{m}}_i$ ($i=1,2,\dots ,n$). 同理,

因为 $\mathbf{N}$ 是对称矩阵, 故都存在着对应于特征值 ${\lambda }_i(\mathbf{N})$ 的正交特征向量 ${\mathbf{n}}_i$ ($i=1,2,\dots ,n$).

因为 $\mathbf{R}$ 是对称矩阵, 故都存在着对应于特征值 ${\lambda }_i(\mathbf{R})$ 的正交特征向量 ${\mathbf{r}}_i$ ($i=1,2,\dots ,n$).

在线性空间 ${\mathbb{R}}^n$ 内, 定义 2 个特殊的子空间
S n ≜ s p a n { n 1 , n 2 , … , n j } , dim ⁡ S n = j (II-1-A-1) \mathit{S}_n \triangleq {\rm span}\{\mathbf{n}_1, \mathbf{n}_2, \ldots, \mathbf{n}_j \}, \quad \dim{\mathit{S}_n}=j \tag{II-1-A-1} Sn​≜span{n1​,n2​,…,nj​},dimSn​=j(II-1-A-1)

S r ≜ s p a n { r 1 , r 2 , … , r k } , dim ⁡ S r = k (II-1-A-2) \mathit{S}_r \triangleq {\rm span}\{\mathbf{r}_1, \mathbf{r}_2, \ldots, \mathbf{r}_k\}, \quad \dim{\mathit{S}_r}=k \tag{II-1-A-2} Sr​≜span{r1​,r2​,…,rk​},dimSr​=k(II-1-A-2)

根据子空间相交引理, 定义交集构成的子空间的维度
$$v\triangleq \dim (S_n\cap S_r)=\dim S_n+\dim S_r-\dim (S_n+S_r)\text{\hspace{1em}(II-1-A-3)}$$
因为 $\dim (S_n+S_r)\le n$, 故有
$$v\ge j+k-n\ge i\ge 1\text{\hspace{1em}(II-1-A-4)}$$
所以集合 $S_n\cap S_r$ 构成维度不小于 1 的子空间, 也就说 $\exists x\in S_n\cap S_r$ .

由特征值的降序排列可知
$${\lambda }_v(\mathbf{M})\le {\lambda }_{j+k-n}(\mathbf{M})\le {\lambda }_i(\mathbf{M})\text{\hspace{1em}(II-1-A-5)}$$
由 Courant-Fischer 定理中式 (II-2) 可知
$$\begin{array}{rl}{\lambda }_v(\mathbf{M})& =\underset{\begin{array}{c}S\subseteq {\mathbb{R}}^n\\ \dim (S)=v\end{array}}{\max }\underset{\begin{array}{c}\mathbf{x}\in S\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\\ & \ge \underset{\begin{array}{c}\mathbf{x}\in S_n\cap S_r\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\\ & \ge \underset{\begin{array}{c}\mathbf{x}\in S_n\cap S_r\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Nx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}+\underset{\begin{array}{c}\mathbf{x}\in S_n\cap S_r\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Rx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\\ & \ge \underset{\begin{array}{c}\mathbf{x}\in S_n\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Nx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}+\underset{\begin{array}{c}\mathbf{x}\in S_r\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Rx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\\ & \ge {\lambda }_j(\mathbf{N})+{\lambda }_k(\mathbf{R})\end{array}\text{\hspace{1em}(II-1-A-6)}$$
对上式推导过程解释如下:

- 式 (II-1-A-6) 中第一行和第二行组成的不等式是通过缩小极小值的搜索空间. 初始时是从所有的维度为 $v$ 的子空间中搜索极小值, 并从这些极小值中找到最大的那个值; 缩小搜索空间后, 只在 $S_n\cap S_r$ 这一特殊 $v$ 维度子空间中寻找极小值. 自然从更广搜索域中找到的极小值中的极大值比局部搜索域中找的极小值更大.

- 式 (II-1-A-6) 中第二行和第三行组成的不等式, 是因为放松了 $\mathbf{M}=\mathbf{N}+\mathbf{R}$ 之间的关联, 使得两部分自由取各自的极小值, 这样能够取得更小的结果, 故等式成立. 再详细一点是在 ${\min }_{\begin{array}{c}\mathbf{x}\in S_n\cap S_r\\ \mathbf{x}\ne 0\end{array}}\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}$ 中取到的极小值也可以应用到 ${\min }_{\begin{array}{c}\mathbf{x}\in S_n\cap S_r\\ \mathbf{x}\ne 0\end{array}}\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Nx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}+{\min }_{\begin{array}{c}\mathbf{x}\in S_n\cap S_r\\ \mathbf{x}\ne 0\end{array}}\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Rx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}$ 且结果是一样的; 而反之则不行, 因为后者是两部分分开取不同的值.

- 式 (II-1-A-6) 中第三行和第四行组成的不等式, 是因为扩大极小值的搜索范围后获得极小值更小.

- 式 (II-1-A-6) 中第四行和第五行组成的不等式参考 Courant-Fischer 定理中式 (II-1-A-3), 本质是瑞利定理 (Rayleigh theorem).

联立式 (II-1-A-5) 与式 (II-1-A-6) 可知
$${\lambda }_i(\mathbf{M})\ge {\lambda }_j(\mathbf{N})+{\lambda }_k(\mathbf{R}),(\text{for}j+k-n\ge i\ge 1)\text{\hspace{1em}(II-1-A-7)}$$
第一个不等式的证明完毕.

---

B. 第二个不等式的证明

构建子空间
S n ′ ≜ s p a n { n r , … , n n } , dim ⁡ S n ′ = n − r + 1 (II-1-B-1) \mathit{S}^{'}_n \triangleq {\rm span}\{\mathbf{n}_r, \ldots, \mathbf{n}_n \}, \quad \dim{\mathit{S}^{'}_n}=n-r+1 \tag{II-1-B-1} Sn′​≜span{nr​,…,nn​},dimSn′​=n−r+1(II-1-B-1)

S r ′ ≜ s p a n { r s , … , r n } , dim ⁡ S r ′ = n − s + 1 (II-1-B-2) \mathit{S}^{'}_r \triangleq {\rm span}\{\mathbf{r}_s, \ldots, \mathbf{r}_n\}, \quad \dim{\mathit{S}^{'}_r}=n-s+1 \tag{II-1-B-2} Sr′​≜span{rs​,…,rn​},dimSr′​=n−s+1(II-1-B-2)

利用子空间相交引理, 定义交集构成的子空间的维度
$$\begin{array}{rl}{v}^{{}^{\prime }}& \triangleq \dim (S_n^{{}^{\prime }}\cap S_r^{{}^{\prime }})\\ & =\dim (S_n^{{}^{\prime }})+\dim (S_r^{{}^{\prime }})-\dim (S_n^{{}^{\prime }}+S_r^{{}^{\prime }})\\ & \ge (n-r+1)+(n-s+1)-n\\ & =n-(r+s-1)+1\\ & \ge 1\end{array}\text{\hspace{1em}(II-1-B-3)}$$
根据条件式 $n\ge i\ge r+s-1$, 上式最后一步中的不等式成立.

因为 $v^{{}^{\prime }}\ge 1$, 所以 $\exists y\in S_n^{{}^{\prime }}\cap S_r^{{}^{\prime }}$.

对式 (II-1-B-3) 移项, 得到
$$i\ge r+s-1\ge n-v^{{}^{\prime }}+1\text{\hspace{1em}(II-1-B-4)}$$
因为特征值降序排列, 可知
$${\lambda }_i(\mathbf{M})\le {\lambda }_{r+s-1}(\mathbf{M})\le {\lambda }_{n-v^{{}^{\prime }}+1}(\mathbf{M})\text{\hspace{1em}(II-1-B-5)}$$
由 Courant-Fischer 定理中式 (II-3) 可知
$$\begin{array}{rl}{\lambda }_{n-v^{{}^{\prime }}+1}(\mathbf{M})& =\underset{\begin{array}{c}T\subseteq {\mathbb{R}}^n\\ \dim (T)=n-(n-v^{{}^{\prime }}+1)+1\end{array}}{\min }\underset{\begin{array}{c}\mathbf{x}\in T\\ \mathbf{x}\ne 0\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\\ & =\underset{\begin{array}{c}T\subseteq {\mathbb{R}}^n\\ \dim (T)=v^{{}^{\prime }}\end{array}}{\min }\underset{\begin{array}{c}\mathbf{x}\in T\\ \mathbf{x}\ne 0\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\\ & \le \underset{\begin{array}{c}\mathbf{x}\in S_n^{{}^{\prime }}\cap S_r^{{}^{\prime }}\\ \mathbf{x}\ne 0\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\\ & \le \underset{\begin{array}{c}\mathbf{x}\in S_n^{{}^{\prime }}\cap S_r^{{}^{\prime }}\\ \mathbf{x}\ne 0\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Nx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}+\underset{\begin{array}{c}\mathbf{x}\in S_n^{{}^{\prime }}\cap S_r^{{}^{\prime }}\\ \mathbf{x}\ne 0\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Rx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\\ & \le \underset{\begin{array}{c}\mathbf{x}\in S_n^{{}^{\prime }}\\ \mathbf{x}\ne 0\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Nx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}+\underset{\begin{array}{c}\mathbf{x}\in S_r^{{}^{\prime }}\\ \mathbf{x}\ne 0\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Rx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\\ & \le {\lambda }_r(\mathbf{N})+{\lambda }_s(\mathbf{R})\end{array}\text{\hspace{1em}(II-1-B-6)}$$
对上式推导过程解释如下:

- 式 (II-1-B-6) 中第二行和第三行组成的不等式, 是因为将 min-max 变为了 max, 同时缩小搜索空间.

- 式 (II-1-B-6) 中第三行和第四行组成的不等式, 是因为释放了两部分的关联 (即放松了约束条件), 故能取得更大的极大值.

- 式 (II-1-B-6) 中第四行和第五行组成的不等式, 是因为扩大了极大值的搜索范围.

- 式 (II-1-B-6) 中第五行和第六行组成的不等式参考 Courant-Fischer 定理中式 (II-1-B-4), 本质是瑞利定理.

联立式 (II-1-B-5) 和式 (II-1-B-6) 可知
$${\lambda }_i(\mathbf{M})\le {\lambda }_r(\mathbf{N})+{\lambda }_s(\mathbf{R}),(n\ge i\ge r+s-1)\text{\hspace{1em}(II-1-B-7)}$$
第二个不等式的证明完毕.

---

2. 特殊形式的证明

下面证明特殊形式 (II-0-1). 已证明了一般形式
$${\lambda }_j(\mathbf{N})+{\lambda }_k(\mathbf{R})\le {\lambda }_i(\mathbf{M})\le {\lambda }_r(\mathbf{N})+{\lambda }_s(\mathbf{R})(\text{for}j+k-n\ge i\ge r+s-1)\text{\hspace{1em}(II-2-1)}$$
取 $j=i,k=n,r=i,s=1$, 代入不等式可得
$${\lambda }_i(\mathbf{N})+{\lambda }_n(\mathbf{R})\le {\lambda }_i(\mathbf{M})\le {\lambda }_i(\mathbf{N})+{\lambda }_1(\mathbf{R})\text{\hspace{1em}(II-2-2)}$$
代入条件式后, 条件式也成立, 即
$$\begin{array}{rl}& j+k-n\ge i\ge r+s-1\\ \Rightarrow & i+n-n\ge i\ge i+1-1\\ \Rightarrow & i\ge i\ge i\end{array}\text{\hspace{1em}(II-2-3)}$$
特殊形式 (II-0-1) 证明完毕.

3. 正定扰动的证明

下面证明正定扰动式 (II-0-3). 已证明了特殊形式 (II-0-1), 即
$${\lambda }_i(\mathbf{N})+{\lambda }_n(\mathbf{R})\le {\lambda }_i(\mathbf{M})\text{\hspace{1em}(II-3-1)}$$
已知条件 ${\lambda }_n(\mathbf{R})>0$. 故有
$${\lambda }_i(\mathbf{N})<{\lambda }_i(\mathbf{N})+{\lambda }_n(\mathbf{R})\le {\lambda }_i(\mathbf{M})\text{\hspace{1em}(II-3-2)}$$
正定扰动式 (II-0-3) 得证.

这样 Weyl 不等式 (针对特征值) 全部证明完毕.

---

III. 奇异值形式的 Weyl 不等式 Weyl’s Inequality for Singular Values

[Weyl’s inequality]^[3] Let $\mathbf{A},\mathbf{B}\in {\mathbf{M}}_{m,n}$ be given and let q = min ⁡ { m , n } q = \min\{m,n\} q=min{m,n}. The following inequality holds for the decreasingly ordered singular values of $\mathbf{A}$, $\mathbf{B}$, and $\mathbf{A}+\mathbf{B}$:
$${\sigma }_{i+j-1}(\mathbf{A}+\mathbf{B})\le {\sigma }_i(\mathbf{A})+{\sigma }_j(\mathbf{B})\text{\hspace{1em}(III-1)}$$
for $1\le i,j\le q$ and $i+j\le q+1$.

Proof^[3]

证明同 “B. 第二个不等式的证明” 类似.

假设 $\mathbf{A}$ 和 $\mathbf{B}$ 的奇异值分解为
$$\mathbf{A}=\mathbf{V}{\mathbf{\Sigma }}_A{\mathbf{W}}^{\mathrm{T}}\text{\hspace{1em}(III-2)}$$
其中 $n\times n$ 正交矩阵 $\mathbf{W}=\left[\begin{array}{c}{\mathbf{w}}_1,\dots ,{\mathbf{w}}_n\end{array}\right]$.
$$\mathbf{B}=\mathbf{X}{\mathbf{\Sigma }}_B{\mathbf{Y}}^{\mathrm{T}}\text{\hspace{1em}(III-3)}$$
其中 $n\times n$ 正交矩阵 $\mathbf{Y}=\left[\begin{array}{c}{\mathbf{y}}_1,\dots ,{\mathbf{y}}_n\end{array}\right]$.

定义子空间
S w ≜ s p a n { w i , … , w n } ,        dim ⁡ S w = n − i + 1 (III-4) \mathit{S}_w \triangleq {\rm span}\{\mathbf{w}_i, \ldots, \mathbf{w}_n\}, \;\;\;\dim\mathit{S}_w = n-i+1 \tag{III-4} Sw​≜span{wi​,…,wn​},dimSw​=n−i+1(III-4)

S y ≜ s p a n { y j , … , y n } ,        dim ⁡ S y = n − j + 1 (III-5) \mathit{S}_y \triangleq {\rm span}\{\mathbf{y}_j, \ldots, \mathbf{y}_n\}, \;\;\;\dim\mathit{S}_y = n-j+1 \tag{III-5} Sy​≜span{yj​,…,yn​},dimSy​=n−j+1(III-5)

定义交集形成的子空间的维度
$$\begin{array}{rl}v& \triangleq \dim (S_w+S_y)\\ & =\dim S_w+\dim S_y-\dim (S_w\cap S_y)\\ & \ge (n-i+1)+(n-j+1)-n\\ & =n-(i+j-1)+1\\ & \ge n-(q+1-1)+1\\ & \ge 1\end{array}\text{\hspace{1em}(III-6)}$$
上式利用了子空间相交引理以及条件式 $i+j\le q+1$ 和 q = min ⁡ { m , n } q = \min\{m,n\} q=min{m,n}.

因为 $v\ge 1$, 所以 $\exists \mathbf{x}\in S_w\cap S_y$.

对式 (III-6) 移项得到
$$i+j-1\ge n-v+1\text{\hspace{1em}(III-7)}$$
因为奇异值的降序排列, 可得
$${\sigma }_{i+j-1}(\mathbf{A}+\mathbf{B})\le {\sigma }_{n-v+1}(\mathbf{A}+\mathbf{B})\text{\hspace{1em}(III-8)}$$
根据 Courant-Fischer Theorem for Singular Values, 可知
$$\begin{array}{rl}{\sigma }_{n-v+1}(\mathbf{A}+\mathbf{B})& =\underset{\begin{array}{c}S\subseteq {\mathbb{R}}^n\\ \dim (S)=v\end{array}}{\min }\underset{\begin{array}{c}\mathbf{x}\in S\\ \Vert \mathbf{x}{\Vert }_2=1\end{array}}{\max }\Vert (\mathbf{A}+\mathbf{B})\mathbf{x}{\Vert }_2\\ & \le \underset{\begin{array}{c}\mathbf{x}\in S_w\cap S_y\\ \Vert \mathbf{x}{\Vert }_2=1\end{array}}{\max }\Vert (\mathbf{A}+\mathbf{B})\mathbf{x}{\Vert }_2\\ & \le \underset{\begin{array}{c}\mathbf{x}\in S_w\cap S_y\\ \Vert \mathbf{x}{\Vert }_2=1\end{array}}{\max }\left(\Vert \mathbf{Ax}{\Vert }_2+\Vert \mathbf{Bx}{\Vert }_2\right)\\ & \le \underset{\begin{array}{c}\mathbf{x}\in S_w\cap S_y\\ \Vert \mathbf{x}{\Vert }_2=1\end{array}}{\max }\Vert \mathbf{Ax}{\Vert }_2+\underset{\begin{array}{c}\mathbf{x}\in S_w\cap S_y\\ \Vert \mathbf{x}{\Vert }_2=1\end{array}}{\max }\Vert \mathbf{Bx}{\Vert }_2\\ & \le \underset{\begin{array}{c}\mathbf{x}\in S_w\\ \Vert \mathbf{x}{\Vert }_2=1\end{array}}{\max }\Vert \mathbf{Ax}{\Vert }_2+\underset{\begin{array}{c}\mathbf{x}\in S_y\\ \Vert \mathbf{x}{\Vert }_2=1\end{array}}{\max }\Vert \mathbf{Bx}{\Vert }_2\\ & ={\sigma }_i(\mathbf{A})+{\sigma }_j(\mathbf{B})\end{array}\text{\hspace{1em}(III-9)}$$
对上式推导过程解释如下:

- 式 (III-9) 中第一行和第二行组成的不等式, 是因为将 min-max 变为了 max, 同时缩小搜索空间.

- 式 (III-9) 中第二行和第三行组成的不等式, 是因为 2-范数的三角不等式.

- 式 (III-9) 中第三行和第四行组成的不等式, 是因为释放了两部分的关联 (即放松了约束条件), 故能取得更大的极大值.

- 式 (III-9) 中第四行和第五行组成的不等式, 是因为扩大了极大值的搜索范围.

- 式 (III-9) 中第五行和第六行组成的等式本质是瑞利定理, 简单说明如下:
$$\underset{\begin{array}{c}\mathbf{x}\in S_w\\ \Vert \mathbf{x}{\Vert }_2=1\end{array}}{\max }\Vert \mathbf{Ax}{\Vert }_2^2=\underset{\begin{array}{c}\mathbf{x}\in S_w\\ \Vert \mathbf{x}{\Vert }_2=1\end{array}}{\max }{\mathbf{x}}^{\mathrm{T}}{\mathbf{A}}^{\mathrm{T}}\mathbf{Ax}\le {\lambda }_i({\mathbf{A}}^{\mathrm{T}}\mathbf{A})={\sigma }_i(\mathbf{A}{)}^2\text{\hspace{1em}(III-10)}$$
根据 “奇异值分解之常用结论” 中可知, $\mathbf{W}$ 是 ${\mathbf{A}}^{\mathrm{T}}\mathbf{A}$ 的正交特征矩阵. 因为 $\mathbf{x}\in S_w$, 当 $\mathbf{x}={\mathbf{w}}_i$ 时, 取得最大值 $\Vert \mathbf{Ax}{\Vert }_2^2={\sigma }_i(\mathbf{A}{)}^2$.

联立式 (III-8) 和式 (III-9) 得到
$${\sigma }_{i+j-1}(\mathbf{A}+\mathbf{B})\le {\sigma }_i(\mathbf{A})+{\sigma }_j(\mathbf{B})\text{\hspace{1em}(III-11)}$$
这样完成 Weyl’s Inequality for Singular Values 的证明.

---

总结

本篇博客整理和证明了 Weyl 不等式的两种形式:

- 特征值形式

- 奇异值形式

(如有问题, 请指正！)

---

参考文献

[1] Roger A. Horn, Charles R. Johnson, Matrix Analysis, Second Edition, Cambridge University Press, 2012

[2] HandWiki, “Weyl’s inequality”, https://handwiki.org/wiki/Weyl%27s_inequality

[3] Horn, R., Johnson, C., Topics in Matrix Analysis, Cambridge University Press, 1991