特征值的重要定理：Courant-Fischer min-max theorem 极大极小定理

前言

Courant-Fischer min-max theorem 是特征值极为重要的一个性质。 但是国内的各种教材资料包括博客上都很少提及。 我自己在科研中曾经用到过。 近期又碰到了另一个精彩的结论 韦尔定理（Wely theorem），有一个应用极大极小定理的简洁美妙的证明。 因此， 这篇博文写一下这个不容忽视的定理。

极大极小定理

首先，本定理针对的是Hermitian 矩阵， 即共轭对称矩阵。 因为只有共轭对称矩阵的特征值是确定为实数值的， 其他矩阵很可能是复数值， 而复数值，也就不存在大小关系了。

Courant-Fisher min-max 定理

对于 $n\times n$的矩阵 $\mathbf{A}$, 有：

• ${\lambda }_k=\underset{\dim (U)=k}{\min }\underset{x\in U,\Vert x\Vert =1}{\max }{x}^H\mathbf{A}x$
• ${\lambda }_k=\underset{\dim (U)=n-k+1}{\max }\underset{x\in U,\Vert x\Vert =1}{\min }{x}^H\mathbf{A}x$

其中， ${\lambda }_i$ 是 第 $k$ 小的特征值。

这个定理在两年前接触到的时候一头雾水， 数院的国奖哥以此帮我证明了一个式子的时候更是惊为天人。 核心原因是当时对子空间的概念的认知实在太过不足。 现在回头看虽然仍觉得非常困难，但还是稍微精进了一些。

这个证明， 我参考了维基百科上的证明， 以下是对百科上过程的翻译：

由于 $\mathbf{A}$是共轭对称矩阵， 所以根据共轭对称矩阵的特征分解的性质， 选定其特征向量 { u 1 , … , u n } \left\{u_{1}, \ldots, u_{n}\right\} {u1​,…,un​} 作为一组正交基。 子空间与基相关知识

即， 这就是$n$维空间的 $n$ 个基。

现在， 若有该 $n$维空间的一个子空间 $U$， 其维度为 $k$, 和子空间 $\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}(u_k,\dots ,u_n)$ (我们假设$u_k,\cdots ,u_n$对应的特征值为升序排列)， 必定存在一个交集。 这一点其实可以这样证明： 首先 $U$的维度是$k$, 而$\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}(u_k,\dots ,u_n)$的维度是 $n-k+1$。 也就是说， 两者的维度之和 大于 $n$。因此， 必定存在一个非零的交集。（这一点其实可以这样判断： 如果维度之和刚好是$n$， 那可能两个子空间刚好由一组正交基的两部分扩展二成，是没有交集的。但和为$n+1$，如果没有交集，就说明这个空间其实应该有$n+1$个正交基， 这是违背的。没有想明白的读者， 可以根据3维空间来想像： 3维空间的两个二维子空间，必有交集。 而3维空间的1个二维子空间和1个一维子空间，是可以没有交集的。）

因此， 假设 $v$ 是交集上的一个元素， 即， 既属于子空间 $U$ 又属于 子空间 $\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}(u_k,\dots ,u_n)$。 那么， $x\in \mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}(u_k,\dots ,u_n)$, 因此有：

$$x=\sum _{i=k}^n{\alpha }_i{u}_i$$
(由于 $||x||=1$, 有 ${\sum }_{i=k}^n{\alpha }_i=1$)
那么，

$$x^H\mathbf{A}x=\sum _{i=k}^n{\alpha }_i^2{u}_i^H\mathbf{A}{u}_i=\sum _{i=k}^n{\lambda }_i{\alpha }_i^2\ge {\lambda }_k$$
不等号来源于我们认为${\lambda }_i\ge {\lambda }_k,\forall i>k$
即:

$$\underset{x\in U,\Vert x\Vert =1}{\max }{x}^H\mathbf{A}x\ge {\lambda }_i$$

对于所有子空间 $U$都成立。 即：

$$\underset{\dim (U)=k}{\min }\underset{x\in U,\Vert x\Vert =1}{\max }{x}^H\mathbf{A}x\ge {\lambda }_k$$

这时候，我们再证另一半：

显然， 空间 V = span ⁡ { u 1 , … , u k } V=\operatorname{span}\left\{u_{1}, \ldots, u_{k}\right\} V=span{u1​,…,uk​} 作为选择的$k$维空间， 有：

$$x^H\mathbf{A}x\le {\lambda }_k$$

这个结论过于明显，不做解释了。
也就是说， $$\underset{x\in V,\Vert x\Vert =1}{\max }{x}^H\mathbf{A}x\le {\lambda }_k$$,
而 $V$ 显然是 $k$维的子空间 $U$之一， 因此：

$$\underset{\dim (U)=k}{\min }\underset{x\in U,\Vert x\Vert =1}{\max }{x}^H\mathbf{A}x\le {\lambda }_k$$

所以有：

$$\underset{\dim (U)=k}{\min }\underset{x\in U,\Vert x\Vert =1}{\max }{x}^H\mathbf{A}x={\lambda }_k$$

证毕。

经典应用： 韦尔定理 Wely theorem

对于两个 $n\times n$ 的共轭对称矩阵 $\mathbf{A}$ 和 $\mathbf{B}$， 有：

$${\lambda }_i(A)+{\lambda }_1(B)\le {\lambda }_i(A+B)\le {\lambda }_i(A)+{\lambda }_n(B)$$。

显然，这是一个极为有用的定理。

先说下他的证明：

$$\begin{array}{rl}{\lambda }_i(A+B)=& \underset{\dim (V)=i}{\max }\underset{\mathbf{x}\in V,\Vert \mathbf{x}\Vert =1}{\min }{\mathbf{x}}^H(A+B)\mathbf{x}\\ & =\underset{\dim (V)=i}{\max }\underset{\mathbf{x}\in V,\Vert \mathbf{x}\Vert =1}{\min }\left({\mathbf{x}}^{H}A\mathbf{x}+{\mathbf{x}}^{H}B\mathbf{x}\right)\\ & \ge \underset{\dim (V)=i}{\max }\left(\underset{\mathbf{x}\in V,\Vert \mathbf{x}\Vert =1}{\min }{\mathbf{x}}^{H}A\mathbf{x}+\underset{\mathbf{x}\in V,\Vert \mathbf{x}\Vert =1}{\min }{\mathbf{x}}^{H}B\mathbf{x}\right)\\ & \ge \underset{\dim (V)=i}{\max }\underset{\mathbf{x}\in V,\Vert \mathbf{x}\Vert =1}{\min }{\mathbf{x}}^{H}A\mathbf{x}+\underset{\mathbf{x}\in V,\Vert \mathbf{x}\Vert =1}{\min }{\mathbf{x}}^H\mathbf{B}\mathbf{x}\\ & =\underset{\dim (V)=i}{\max }\underset{\mathbf{x}\in V,\Vert \mathbf{x}\Vert =1}{\min }{\mathbf{x}}^{H}A\mathbf{x}+{\lambda }_1(B)={\lambda }_i(A)+{\lambda }_1(B)\end{array}$$

非常简洁。

这个定理可以推出一些有用的结论：

• 可以确定两个共轭对称矩阵和 的 特征值的 范围。
• 一个共轭对称矩阵 加上一个正定共轭对称矩阵， 特征值必增大。