奇异值分解之 Courant-Fischer 定理及其变体

Title: 奇异值分解之 Courant-Fischer 定理及其变体

---

前言

“奇异值分解之常用结论” 原本只是日常记录, 方便自己查阅.

但在写的过程中留下了一个问题: Frobenious-范数下低秩近似的证明.

为了清晰地掌握/讲解其中的内容, 我们稍微深入地了解一下奇异值相关的内容:

相关博文介绍

- 奇异值分解之常用结论

- 奇异值分解之 Courant-Fischer 定理及其变体

- 奇异值分解之 Weyl 不等式及其变体

- 奇异值分解之 Frobenious-范数下低秩近似的证明

Courant-Fischer 定理 (Courant-Fischer theorem) 也称为 Courant-Fischer 极小极大定理 (Courant-Fischer min-max theorem).

本篇博客关于 Courant-Fischer 定理的各种变体和证明
- 子空间形式
- 正交补形式
- 奇异值形式

主要参考文献如博客后面所列^{[1, 2, 3]}.

---

I. Rayleigh 商 (Rayleigh Quotient)

定义向量 $\mathbf{x}$ 相对于矩阵 $\mathbf{M}$ 的 Rayleigh 商^[1]为
$$\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}$$
特征向量的 Rayleigh 商是特征值.

[Lemma 1]^[1] Let $\mathbf{M}$ be a $n\times n$ symmetric matrix with eigenvalues ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$ and a corresponding orthonormal basis of eigenvectors ${\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,{\mathbf{v}}_n$. Let $\mathbf{x}$ be a vector whose expansion in the eigenbasis is
$$\mathbf{x}=\sum _{i=1}^n{c}_i{\mathbf{v}}_i\text{\hspace{1em}(I-1)}$$
Then,
$${\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}=\sum _{i=1}^n{c}_i^2{\lambda }_i\text{\hspace{1em}(I-2)}$$

Proof

由正交性可知
$${\mathbf{v}}_i^{\mathrm{T}}{\mathbf{v}}_j=\{\begin{array}{ll}0,& \text{for}i\ne j\\ 1,& \text{for}i=j\end{array}\text{\hspace{1em}(I-3)}$$
对 ${\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}$ 展开计算
$$\begin{array}{rl}{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}& ={\left(\sum _{i=1}^n{c}_i{\mathbf{v}}_i\right)}^{\mathrm{T}}\mathbf{M}\left(\sum _{i=1}^n{c}_i{\mathbf{v}}_i\right)\\ & ={\left(\sum _{i=1}^n{c}_i{\mathbf{v}}_i\right)}^{\mathrm{T}}\left(\sum _{i=1}^n{c}_i\mathbf{M}{\mathbf{v}}_i\right)\\ & ={\left(\sum _{i=1}^n{c}_i{\mathbf{v}}_i\right)}^{\mathrm{T}}\left(\sum _{i=1}^n{c}_i{\lambda }_i{\mathbf{v}}_i\right)\\ & =\sum _{i=1}^n{c}_i^2{\lambda }_i\end{array}\text{\hspace{1em}(I-4)}$$
得证.

---

II. Courant-Fischer 定理

[Courant-Fischer Theorem]^[1] Let $\mathbf{M}$ be a $n\times n$ symmetric matrix with eigenvalues ${\lambda }_1\ge {\lambda }_2\ge \dots \ge {\lambda }_n$. Then,
$$\begin{array}{rl}{\lambda }_k& =\underset{\begin{array}{c}S\subseteq {\mathbb{R}}^n\\ \dim (S)=k\end{array}}{\max }\underset{\begin{array}{c}\mathbf{x}\in S\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\\ & =\underset{\begin{array}{c}T\subseteq {\mathbb{R}}^n\\ \dim (T)=n-k+1\end{array}}{\min }\underset{\begin{array}{c}\mathbf{x}\in T\\ \mathbf{x}\ne 0\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\end{array}\text{\hspace{1em}(II-1)}$$
where the maximization and minimization are over subspaces $S$ and $T$ of ${\mathbb{R}}^n$.

为了区分我们把上述定理称为子空间形式. 下面把式 (II-1) 分解为两部分分别证明,

第一个等式
$${\lambda }_k=\underset{\begin{array}{c}S\subseteq {\mathbb{R}}^n\\ \dim (S)=k\end{array}}{\max }\underset{\begin{array}{c}\mathbf{x}\in S\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\text{\hspace{1em}(II-2)}$$
第二个等式
$${\lambda }_k=\underset{\begin{array}{c}T\subseteq {\mathbb{R}}^n\\ \dim (T)=n-k+1\end{array}}{\min }\underset{\begin{array}{c}\mathbf{x}\in T\\ \mathbf{x}\ne 0\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\text{\hspace{1em}(II-3)}$$
下面默认 $\mathbf{x}\ne 0$.

第一个等式和第二个等式形式上对称, 其实可以对应特征值的升序和降序.

特征值排序的不同, Courant-Fischer 定理形式上会对称改变, 注意分辨.

---

一. 证明第一个等式

A. 证明 LHS $\le$ RHS

令 ${\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,{\mathbf{v}}_n$ 是对称矩阵 $\mathbf{M}$ 相应于特征值 ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$ 的正交特征向量.

$S$ 是 ${\mathbb{R}}^n$ 上维度为 $k$ 的任意子空间.

构造特殊子空间 S k = s p a n { v 1 , v 2 , … , v k } \mathit{S}_k = {\rm span}\{\mathbf{v}_1, \mathbf{v}_2,\ldots, \mathbf{v}_k\} Sk​=span{v1​,v2​,…,vk​}.

假设 $\mathbf{x}\in S_k$, 故可以写成
$$\mathbf{x}=\sum _{i=1}^k{c}_i{\mathbf{v}}_i\text{\hspace{1em}(II-1-A-1)}$$
由 [Lemma 1]
$$\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}=\frac{{\sum }_{i=1}^k{c}_i^2{\lambda }_i}{{\sum }_{i=1}^k{c}_i^2}\ge \frac{{\sum }_{i=1}^k{c}_i^2{\lambda }_k}{{\sum }_{i=1}^k{c}_i^2}={\lambda }_k\text{\hspace{1em}(II-1-A-2)}$$
只要满足前设条件式 “$\mathbf{x}\in S_k$” 上式都成立, 所以取最小值没有影响, 故有
$$\underset{\begin{array}{c}\mathbf{x}\in S_k\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\ge {\lambda }_k\text{\hspace{1em}(II-1-A-3)}$$
我们知道 $S$ 满足维度条件下的选择是更宽泛的, 而式 (II-1-A-3) 是 “$\mathbf{x}\in S_k$” 这一特殊情况下推导得到的一个极小值不等式.

对更泛化情况下, 从这些极小值中 (包括式 (II-1-A-3) 中的极小值) 选取最大值, 则
$$\underset{\begin{array}{c}S\subseteq {\mathbb{R}}^n\\ \dim (S)=k\end{array}}{\max }\underset{\begin{array}{c}\mathbf{x}\in S\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\ge \underset{\begin{array}{c}\mathbf{x}\in S_k\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\ge {\lambda }_k\text{\hspace{1em}(II-1-A-4)}$$
必然成立.

---

B. 证明 LHS $\ge$ RHS

这一部分中我们仍然只要求 $S$ 是 ${\mathbb{R}}^n$ 上维度为 $k$ 的任意子空间.

此处构造 ${\mathbb{R}}^n$ 上新的子空间 $T$ , 由 ${\mathbf{v}}_k,{\mathbf{v}}_{k+1},\dots ,{\mathbf{v}}_n$ 张成, $\dim (T)=n-k+1$. 因为
$$\dim (S)+\dim (T)=k+n-k+1=n+1\text{\hspace{1em}(II-1-B-1)}$$
所以 $S$ 与 $T$ 之间必然存在维度大于等于 1 的交集 (即 $\dim (S\cap T)\ge 1$), 那么必然存在向量 ${\mathbf{x}}_{\ast }\in S\cap T$, 故 ${\mathbf{x}}_{\ast }\in T$ 也成立. 所以该向量可以写成

$${\mathbf{x}}_{\ast }=\sum _{i=k}^n{c}_i{\mathbf{v}}_i\text{\hspace{1em}(II-1-B-2)}$$
由 [Lemma 1]
$$\frac{{\mathbf{x}}_{\ast }^{\mathrm{T}}\mathbf{M}{\mathbf{x}}_{\ast }}{{\mathbf{x}}_{\ast }^{\mathrm{T}}{\mathbf{x}}_{\ast }}=\frac{{\sum }_{i=k}^n{c}_i^2{\lambda }_i}{{\sum }_{i=k}^n{c}_i^2}\le \frac{{\sum }_{i=1}^k{c}_i^2{\lambda }_k}{{\sum }_{i=1}^k{c}_i^2}={\lambda }_k\text{\hspace{1em}(II-1-B-3)}$$
进一步对 $\mathbf{x}$ 所处空间进行缩放可以得到 (特殊情况到更大范围)
$$\underset{\begin{array}{c}\mathbf{x}\in S\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\le \frac{{\mathbf{x}}_{\ast }^{\mathrm{T}}\mathbf{M}{\mathbf{x}}_{\ast }}{{\mathbf{x}}_{\ast }^{\mathrm{T}}{\mathbf{x}}_{\ast }}\le {\lambda }_k\text{\hspace{1em}(II-1-B-4)}$$
因为 $S$ 是满足维度条件下的任意空间, 满足这一条件的所有极小值都使得式 (II-1-B-4) 成立. 故这些极小值中的最大值也一样满足式 (II-1-B-4), 即
$$\underset{\begin{array}{c}S\subseteq {\mathbb{R}}^n\\ \dim (S)=k\end{array}}{\max }\underset{\begin{array}{c}\mathbf{x}\in S\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\le {\lambda }_k\text{\hspace{1em}(II-1-B-5)}$$

---

C. 证明 LHS = RHS

结合式 (II-1-A-4) 和式 (II-1-B-5)
$${\lambda }_k\ge \underset{\begin{array}{c}S\subseteq {\mathbb{R}}^n\\ \dim (S)=k\end{array}}{\max }\underset{\begin{array}{c}\mathbf{x}\in S\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\ge {\lambda }_k\text{\hspace{1em}(II-1-C-1)}$$
即
$${\lambda }_k=\underset{\begin{array}{c}S\subseteq {\mathbb{R}}^n\\ \dim (S)=k\end{array}}{\max }\underset{\begin{array}{c}\mathbf{x}\in S\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\text{\hspace{1em}(II-1-C-2)}$$
第一个等式证明完毕.

---

二. 证明第二个等式

第二个等式的证明和第一个等式类似, 我们还是简单过一下.

A. 证明 LHS $\ge$ RHS

我们构造 T n − k + 1 = s p a n { v k , v k + 1 , … , v n } \mathit{T}_{n-k+1} = {\rm span}\{\mathbf{v}_k, \mathbf{v}_{k+1}, \ldots, \mathbf{v}_{n} \} Tn−k+1​=span{vk​,vk+1​,…,vn​} 这一特殊的 $n-k+1$ 维子空间. 假设向量 $\mathbf{x}\in T_{n-k+1}$, 则
$$\mathbf{x}=\sum _{i=k}^n{c}_i{\mathbf{v}}_i\text{\hspace{1em}(II-2-A-1)}$$
计算
$$\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}=\frac{{\sum }_{i=k}^n{c}_i^2{\lambda }_i}{{\sum }_{i=k}^n{c}_i^2}\le \frac{{\sum }_{i=k}^n{c}_i^2{\lambda }_k}{{\sum }_{i=k}^n{c}_i^2}={\lambda }_k\text{\hspace{1em}(II-2-A-2)}$$
只要 $\mathbf{x}\in T_{n-k+1}$, 上式都成立. 故有
$$\underset{\begin{array}{c}\mathbf{x}\in T_{n-k+1}\\ \mathbf{x}\ne 0\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\le {\lambda }_k\text{\hspace{1em}(II-2-A-3)}$$
我们知道 $T$ 满足维度条件下的选择是比较任意的, 上式是特殊情况下推导得到的一个极大值不等式. 对更泛化情况下, 从这些极大值中 (包括上式中的极大值) 选取最小值, 则
$$\underset{\begin{array}{c}T\subseteq {\mathbb{R}}^n\\ \dim (T)=n-k+1\end{array}}{\min }\underset{\begin{array}{c}\mathbf{x}\in T\\ \mathbf{x}\ne 0\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\le \underset{\begin{array}{c}\mathbf{x}\in T_{n-k+1}\\ \mathbf{x}\ne 0\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\le {\lambda }_k\text{\hspace{1em}(II-2-A-4)}$$

---

B. 证明 LHS $\le$ RHS

已知 $\dim (T)=n-k+1$. 构造 $k$ 维子空间 S = s p a n { v 1 , v 2 , … , v k } \mathit{S} = {\rm span}\{\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_k\} S=span{v1​,v2​,…,vk​}. 则必然有 $\dim (T\cap S)\ge 1$. 假设向量 ${\mathbf{x}}_{\ast }\in T\cap S$, 则 ${\mathbf{x}}_{\ast }\in S$ 也成立, 故

$${\mathbf{x}}_{\ast }=\sum _{i=1}^k{c}_i{\mathbf{v}}_i\text{\hspace{1em}(II-2-B-1)}$$
计算
$$\frac{{\mathbf{x}}_{\ast }^{\mathrm{T}}\mathbf{M}{\mathbf{x}}_{\ast }}{{\mathbf{x}}_{\ast }^{\mathrm{T}}{\mathbf{x}}_{\ast }}=\frac{{\sum }_{i=1}^k{c}_i^2{\lambda }_i}{{\sum }_{i=1}^k{c}_i^2}\ge \frac{{\sum }_{i=1}^k{c}_i^2{\lambda }_k}{{\sum }_{i=1}^k{c}_i^2}={\lambda }_k\text{\hspace{1em}(II-2-B-2)}$$

进一步对 $\mathbf{x}$ 所处空间进行放大可以得到
$$\underset{\begin{array}{c}\mathbf{x}\in T\\ \mathbf{x}\ne 0\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\ge \frac{{\mathbf{x}}_{\ast }^{\mathrm{T}}\mathbf{M}{\mathbf{x}}_{\ast }}{{\mathbf{x}}_{\ast }^{\mathrm{T}}{\mathbf{x}}_{\ast }}\ge {\lambda }_k\text{\hspace{1em}(II-2-B-3)}$$
因为 $T$ 是满足维度条件下的任意空间, 满足这一条件的所有极大值都使得上式成立. 故这些极大值中的最小值也一样满足上式, 即
$$\underset{\begin{array}{c}T\subseteq {\mathbb{R}}^n\\ \dim (T)=n-k+1\end{array}}{\min }\underset{\begin{array}{c}\mathbf{x}\in T\\ \mathbf{x}\ne 0\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\ge {\lambda }_k\text{\hspace{1em}(II-2-B-4)}$$

---

C. 证明 LHS = RHS

结合式 (II-2-A-4) 和式 (II-2-B-4), 得到
$${\lambda }_k=\underset{\begin{array}{c}T\subseteq {\mathbb{R}}^n\\ \dim (T)=n-k+1\end{array}}{\min }\underset{\begin{array}{c}\mathbf{x}\in T\\ \mathbf{x}\ne 0\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\text{\hspace{1em}(II-2-C-1)}$$
第二个等式证明完毕.

---

III. Courant-Fischer 定理的正交补形式

[Courant-Fischer Theorem]^[2] Let $\mathbf{M}$ be a $n\times n$ symmetric matrix with eigenvalues ${\lambda }_1\ge {\lambda }_2\ge \dots \ge {\lambda }_n$. Then,
$$\begin{array}{rl}{\lambda }_k& =\underset{\begin{array}{c}{\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{n-k}\in {\mathbb{R}}^n\end{array}}{\max }\underset{\begin{array}{c}\mathbf{x}\in {\mathbb{R}}^n,\mathbf{x}\ne 0\\ \mathbf{x}\perp {\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{n-k}\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\\ & =\underset{\begin{array}{c}{\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{k-1}\in {\mathbb{R}}^n\end{array}}{\min }\underset{\begin{array}{c}\mathbf{x}\in {\mathbb{R}}^n,\mathbf{x}\ne 0\\ \mathbf{x}\perp {\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{k-1}\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\end{array}\text{\hspace{1em}(III-1)}$$
where $1\le k\le n$.

我们将利用式 (III-1) 与已证明的 (II-1) 之间的等价性, 来证明式 (III-1) 成立. 同样先把式 (III-1) 分解为两部分分别证明.

第一个等式
$${\lambda }_k=\underset{\begin{array}{c}{\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{n-k}\in {\mathbb{R}}^n\end{array}}{\max }\underset{\begin{array}{c}\mathbf{x}\in {\mathbb{R}}^n,\mathbf{x}\ne 0\\ \mathbf{x}\perp {\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{n-k}\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\text{\hspace{1em}(III-2)}$$
称该第一个等式右手边的值为 “max-min 值”.

第二个等式
$${\lambda }_k=\underset{\begin{array}{c}{\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{k-1}\in {\mathbb{R}}^n\end{array}}{\min }\underset{\begin{array}{c}\mathbf{x}\in {\mathbb{R}}^n,\mathbf{x}\ne 0\\ \mathbf{x}\perp {\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{k-1}\end{array}}{\max }\frac{{\mathbf{x}}^{\mathrm{T}}\mathbf{Mx}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\text{\hspace{1em}(III-3)}$$
称该第二个等式右手边的值为 “min-max 值”.

---

Proof

一. 证明第一个等式

A. 线性无关假设下的证明

我们先假设 ${\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{n-k}$ 是线性无关, 即此时 d i m ( s p a n { w 1 , w 2 , … , w k − 1 } ) = n − k {\rm dim}({\rm span}\{\mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{k-1}\})= n-k dim(span{w1​,w2​,…,wk−1​})=n−k.

这种情况下, 利用式 (III-2) 与已证明的式 (II-2) 之间的等价性来证明式 (III-2) 成立.

我们很容易等到两者条件范围的等价关系如下
{ w 1 , w 2 , … , w n − k , x ∈ R n x ⊥ w 1 , w 2 , … , w n − k d i m ( s p a n { w 1 , w 2 , … , w n − k } ) = n − k ⇔ { x ∈ S ⊆ R n S = s p a n { w 1 , w 2 , … , w n − k } ⊥ d i m ( S ) = k (III-1-A-1) \begin{aligned} &\left\{{\begin{array}{l} \mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{n-k} , \mathbf{x}\in \mathbb{R}^n\\ \mathbf{x} \bot \mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{n-k}\\ {\rm dim}({\rm span}\{\mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{n-k} \}) = n-k \end{array}}\\ \right.\\ &\Leftrightarrow \\ &\left\{{\begin{array}{l} \mathbf{x} \in \mathit{S} \subseteq \mathbb{R}^n\\ S = {\rm span}\{\mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{n-k}\}^{\bot}\\ {\rm dim}(S) = k \end{array}}\right. \end{aligned}\tag{III-1-A-1} ​⎩ ⎨ ⎧​w1​,w2​,…,wn−k​,x∈Rnx⊥w1​,w2​,…,wn−k​dim(span{w1​,w2​,…,wn−k​})=n−k​⇔⎩ ⎨ ⎧​x∈S⊆RnS=span{w1​,w2​,…,wn−k​}⊥dim(S)=k​​(III-1-A-1)
由前述已证明的 Courant-Fischer 定理式 (II-2), 可知线性无关假设下式 (III-2) 对应的 max-min 值为 ${\lambda }_k$.

---

B. 线性相关假设下的证明

如果 ${\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{n-k}$ 是线性相关的, 即此时 d i m ( s p a n { w 1 , w 2 , … , w k − 1 } ) = n − k − i < n − k {\rm dim}({\rm span}\{\mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{k-1}\}) = n-k-i < n-k dim(span{w1​,w2​,…,wk−1​})=n−k−i<n−k, 其中 $0<i\le n-k$. 那么等价的取值范围将是
{ w 1 , w 2 , … , w n − k , x ∈ R n x ⊥ w 1 , w 2 , … , w n − k d i m ( s p a n { w 1 , w 2 , … , w n − k } ) = n − k − i ⇒ { x ∈ S ⊆ R n S = s p a n { w 1 , w 2 , … , w n − k } ⊥ d i m ( S ) = n − ( n − k − i ) = k + i (III-1-B-1) \begin{aligned} &\left\{{\begin{array}{l} \mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{n-k} , \mathbf{x}\in \mathbb{R}^n\\ \mathbf{x} \bot \mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{n-k}\\ {\rm dim}({\rm span}\{\mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{n-k} \}) = n-k-i \end{array}}\right. \\ &\Rightarrow \\ &\left\{{\begin{array}{l} \mathbf{x} \in \mathit{S} \subseteq \mathbb{R}^n\\ S = {\rm span}\{\mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{n-k}\}^{\bot}\\ {\rm dim}(S) = n-(n-k-i) = k+i \end{array}}\right. \end{aligned}\tag{III-1-B-1} ​⎩ ⎨ ⎧​w1​,w2​,…,wn−k​,x∈Rnx⊥w1​,w2​,…,wn−k​dim(span{w1​,w2​,…,wn−k​})=n−k−i​⇒⎩ ⎨ ⎧​x∈S⊆RnS=span{w1​,w2​,…,wn−k​}⊥dim(S)=n−(n−k−i)=k+i​​(III-1-B-1)
由前述已证明的 Courant-Fischer 定理式 (II-2), 可知线性相关假设下式 (III-2) 对应的 max-min 值为 ${\lambda }_{k+i}$.

---

C. 所有假设下的证明

综合线性相关和相信无关这两种分类情况, 取出最大值作为最后的结果.

已知式 (III-1-A-1) 与式 (III-1-B-1) 的结论, 以及 ${\lambda }_k\ge {\lambda }_{k+i}$ ( for $0<i\le n-k$), 可以推导得到
$$\begin{gathered} \max \text{-}\min =\{\begin{array}{ll}{\lambda }_k& \mathrm{independence}\\ {\lambda }_{k+i}& \mathrm{dependence}\end{array} \\ \Rightarrow \max \text{-}\min ={\lambda }_k \end{gathered}$$
第一个等式证明完毕.

---

二. 证明第二个等式

第二个等式的证明类似, 简短说明如下.

A. 线性无关假设下的证明

利用等价关系
{ w 1 , w 2 , … , w k − 1 , x ∈ R n x ⊥ w 1 , w 2 , … , w k − 1 d i m ( s p a n { w 1 , w 2 , … , w k − 1 } ) = k − 1 ⇔ { x ∈ T ⊆ R n T = s p a n { w 1 , w 2 , … , w k − 1 } ⊥ d i m ( T ) = n − k + 1 (III-2-A-1) \begin{aligned} &\left\{{\begin{array}{l} \mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{k-1} , \mathbf{x}\in \mathbb{R}^n\\ \mathbf{x} \bot \mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{k-1}\\ {\rm dim}({\rm span}\{\mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{k-1} \}) = k-1 \end{array}}\right.\\ &\Leftrightarrow \\ &\left\{{\begin{array}{l} \mathbf{x} \in \mathit{T} \subseteq \mathbb{R}^n\\ T = {\rm span}\{\mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{k-1}\}^{\bot}\\ {\rm dim}(T) = n-k+1 \end{array}}\right. \end{aligned}\tag{III-2-A-1} ​⎩ ⎨ ⎧​w1​,w2​,…,wk−1​,x∈Rnx⊥w1​,w2​,…,wk−1​dim(span{w1​,w2​,…,wk−1​})=k−1​⇔⎩ ⎨ ⎧​x∈T⊆RnT=span{w1​,w2​,…,wk−1​}⊥dim(T)=n−k+1​​(III-2-A-1)

由前述已证明的 Courant-Fischer 定理式 (II-3), 可知线性无关假设下式 (III-3) 对应的 max-min 值为 ${\lambda }_k$.

---

B. 线性相关假设下的证明

利用等价关系
{ w 1 , w 2 , … , w k − 1 , x ∈ R n x ⊥ w 1 , w 2 , … , w k − 1 d i m ( s p a n { w 1 , w 2 , … , w k − 1 } ) = k − 1 − i ⇔ { x ∈ T ⊆ R n T = s p a n { w 1 , w 2 , … , w k − 1 } ⊥ d i m ( T ) = n − ( k − 1 − i ) = n − k + 1 + i (III-2-B-1) \begin{aligned} &\left\{{\begin{array}{l} \mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{k-1} , \mathbf{x}\in \mathbb{R}^n\\ \mathbf{x} \bot \mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{k-1}\\ {\rm dim}({\rm span}\{\mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{k-1} \}) = k-1-i \end{array}}\right.\\ &\Leftrightarrow \\ &\left\{{\begin{array}{l} \mathbf{x} \in \mathit{T} \subseteq \mathbb{R}^n\\ T = {\rm span}\{\mathbf{w}_1, \mathbf{w}_2, \ldots, \mathbf{w}_{k-1}\}^{\bot}\\ {\rm dim}(T) = n-(k-1-i)=n-k+1+i \end{array}}\right. \end{aligned}\tag{III-2-B-1} ​⎩ ⎨ ⎧​w1​,w2​,…,wk−1​,x∈Rnx⊥w1​,w2​,…,wk−1​dim(span{w1​,w2​,…,wk−1​})=k−1−i​⇔⎩ ⎨ ⎧​x∈T⊆RnT=span{w1​,w2​,…,wk−1​}⊥dim(T)=n−(k−1−i)=n−k+1+i​​(III-2-B-1)
其中 $0<i\le k-1$

由前述已证明的 Courant-Fischer 定理式 (II-3), 可知线性相关假设下式 (III-3) 对应的min-max 值为 ${\lambda }_{k-i}$.

C. 所有假设下的证明

综合线性相关和相信无关这两种分类情况, 取出最小值作为最后的结果.

已知式 (III-2-A-1) 与式 (III-2-B-1) 的结论, 以及 ${\lambda }_{k-i}\ge {\lambda }_k$ ( for $0<i\le k-1$), 可以推导得到
$$\begin{gathered} \min \text{-}\max =\{\begin{array}{ll}{\lambda }_k& \mathrm{independence}\\ {\lambda }_{k-i}& \mathrm{dependence}\end{array} \\ \Rightarrow \min \text{-}\max ={\lambda }_k \end{gathered}$$
第二个等式证明完毕.

---

IV. Courant-Fischer Theorem for Singular Values

[Courant-Fischer Theorem]^[3] Let $\mathbf{A}$ be a $m\times n$ matrix, let ${\sigma }_1\ge {\sigma }_2\ge \dots$ be the ordered singular values of $\mathbf{A}$, and let $k$ be a given integer with 1 ≤ k ≤ min ⁡ { m , n } 1\leq k \leq \min\{m, n\} 1≤k≤min{m,n}. Then,
$$\begin{array}{rl}{\sigma }_k& =\underset{\begin{array}{c}{\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{n-k}\in {\mathbb{R}}^n\end{array}}{\max }\underset{\begin{array}{c}\mathbf{x}\in {\mathbb{R}}^n,\Vert \mathbf{x}{\Vert }_2=1\\ \mathbf{x}\perp {\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{n-k}\end{array}}{\min }\Vert \mathbf{Ax}{\Vert }_2\\ & \\ & =\underset{\begin{array}{c}{\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{k-1}\in {\mathbb{R}}^n\end{array}}{\min }\underset{\begin{array}{c}\mathbf{x}\in {\mathbb{R}}^n,\Vert \mathbf{x}{\Vert }_2=1\\ \mathbf{x}\perp {\mathbf{w}}_1,{\mathbf{w}}_2,\dots ,{\mathbf{w}}_{k-1}\end{array}}{\max }\Vert \mathbf{Ax}{\Vert }_2\\ & \\ & =\underset{\begin{array}{c}S\subseteq {\mathbb{R}}^n\\ \dim (S)=n-k+1\end{array}}{\min }\underset{\begin{array}{c}\mathbf{x}\in S\\ \Vert \mathbf{x}{\Vert }_2=1\end{array}}{\max }\Vert \mathbf{Ax}{\Vert }_2\\ & \\ & =\underset{\begin{array}{c}S\subseteq {\mathbb{R}}^n\\ \dim (S)=k\end{array}}{\max }\underset{\begin{array}{c}\mathbf{x}\in S\\ \Vert \mathbf{x}{\Vert }_2=1\end{array}}{\min }\Vert \mathbf{Ax}{\Vert }_2\end{array}\text{\hspace{1em}(IV-1)}$$

由于已经证明的 Courant-Fischer 定理的 2 个不同形式 (II-1) 和 (III-1), 我们只需证明上式的一个等式成立, 就可以推得上式整体成立.

由式 (II-2) 及向量 2-范数定义可知
$$\begin{array}{rl}{\lambda }_k({\mathbf{A}}^{\mathrm{T}}\mathbf{A})& =\underset{\begin{array}{c}S\subseteq {\mathbb{R}}^n\\ \dim (S)=k\end{array}}{\max }\underset{\begin{array}{c}\mathbf{x}\in S\\ \mathbf{x}\ne 0\end{array}}{\min }\frac{{\mathbf{x}}^{\mathrm{T}}{\mathbf{A}}^{\mathrm{T}}\mathbf{Ax}}{{\mathbf{x}}^{\mathrm{T}}\mathbf{x}}\\ & =\underset{\begin{array}{c}S\subseteq {\mathbb{R}}^n\\ \dim (S)=k\end{array}}{\max }\underset{\begin{array}{c}\mathbf{x}\in S\\ \Vert \mathbf{x}{\Vert }_2=1\end{array}}{\min }\Vert \mathbf{Ax}{\Vert }_2^2\end{array}\text{\hspace{1em}(IV-2)}$$
说明: 对 $\mathbf{x}$ 缩放一个倍数使其长度为 1, 不改变上式.

又由于奇异值与特征值之间的性质, ${\sigma }_k(\mathbf{A}{)}^2={\lambda }_k({\mathbf{A}}^{\mathrm{T}}\mathbf{A})$, 故
$$\begin{array}{rl}{\sigma }_k(\mathbf{A})& =\underset{\begin{array}{c}S\subseteq {\mathbb{R}}^n\\ \dim (S)=k\end{array}}{\max }\underset{\begin{array}{c}\mathbf{x}\in S\\ \Vert \mathbf{x}{\Vert }_2=1\end{array}}{\min }\Vert \mathbf{Ax}{\Vert }_2\end{array}\text{\hspace{1em}(IV-2)}$$
根据式 (II-1)、式 (III-1) 和式 (IV-2), 证得式 (IV-1), 即 Courant-Fischer Theorem for Singular Values 成立.

---

总结

本篇博客整理了 Courant-Fischer 定理的三个变体, 分别是

- 子空间形式

- 正交补形式

- 奇异值形式

奇异值的排序方式在各种文献中都很统一, 从大到小的降序形式;

而特征值的排序方式有的文献中是降序, 而有的文献是升序.

我们统一采用了降序形式.

虽然 Courant-Fischer 定理能够兼容升序和降序, 但在形式上会对称改变, 需要注意分辨.

(如有问题请指出, 谢谢！)

参考文献

[1] Daniel A. Spielman, Spectral and Algebraic Graph Theory, 2019, http://cs-www.cs.yale.edu/homes/spielman/sagt

[2] Horn, R., Johnson, C., Matrix Analysis, Cambridge University Press, 1985

[3] Horn, R., Johnson, C., Topics in Matrix Analysis, Cambridge University Press, 1991