Courant-Fischer定理、谱图分析和图的分割

一、Courant-Fischer定理

“In linear algebra and functional analysis, the min-max theorem, or variational theorem, or Courant–Fischer–Weyl min-max principle, is a result that gives a variational characterization of eigenvalues of compact Hermitian operators on Hilbert spaces. It can be viewed as the starting point of many results of similar nature.”
——https://en.wikipedia.org/wiki/Min-max_theorem
讲的是Courant–Fischer–Weyl min-max principle（最小-最大定理）给出了一个关于Hermitian矩阵特征值的变分特性描述。以下是该定理的一个推导：
1、Hermitian矩阵 $\mathbf{H}$ 定义：
具有以下特性的矩阵，被称为Hermitian矩阵：
$$\mathbf{H}={\mathbf{H}}^{\ast }\text{, where H∗=HˉT}(1)$$
${\mathbf{H}}^{\ast }$ 是 $\mathbf{H}$ 的共轭转置，即$\mathbf{H}$ 与它的共轭转置矩阵 ${\mathbf{H}}^{\ast }$ 相等。若 $\mathbf{H}$ 为实数阵，则有$\mathbf{H}={\mathbf{H}}^{\ast }={\mathbf{H}}^T$，即实对称阵为Hermitian矩阵。
2、Hermitian矩阵 $\mathbf{H}$ 的性质
性质1：
若A是H矩阵（Hermitian矩阵，简称为H矩阵），对于任意向量 $\mathbf{x}\in {\mathbb{C}}^n$，${\mathbf{x}}^{T}A\mathbf{x}$ 是实数。
性质2：
H矩阵的特征值皆为实数。
性质3：
H矩阵相异特征值对应的特征向量互为正交。
Rayleigh Quotient (Rayleigh商, R)定义：
$$R=\frac{{\mathbf{x}}^{\ast }\mathbf{A}\mathbf{x}}{{\mathbf{x}}^{\ast }\mathbf{x}}(2)$$
Courant-Fischer便是讨论 Rayleigh Quotient 的界问题。
命题1：
设$\mathbf{A}$是形状为 $n\times n$ 的 $\mathbf{H}$ 矩阵，它的特征值（eigenvalues）皆为实数，设为 ${\lambda }_1\ge {\lambda }_2\cdots \ge {\lambda }_n$，则有：
$$\{\begin{array}{c}{\max }_{x̸=0}\frac{{\mathbf{x}}^{\ast }\mathbf{A}\mathbf{x}}{{\mathbf{x}}^{\ast }\mathbf{x}}={\lambda }_1\\ \\ {\min }_{x̸=0}\frac{{\mathbf{x}}^{\ast }\mathbf{A}\mathbf{x}}{{\mathbf{x}}^{\ast }\mathbf{x}}={\lambda }_n\end{array}(3)$$
即Rayleigh商的上界是最大特征值（${\lambda }_1$），下界是最小特征值（${\lambda }_n$）。
证明：
令 $\mathbf{\Lambda }=diag({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)$，这些特征值对应的归一化特征矢量为 { u 1 , u 2 , ⋯   , u n } \{ \mathbf u_1,\mathbf u_2,\cdots,\mathbf u_n\} { u1​,u2​,⋯,un​}，即 $\Vert {\mathbf{u}}_i\Vert =1$，且${\mathbf{u}}_i^T{\mathbf{u}}_j=0\text{ (if i not equal j)}$。令$\mathbf{U}=[{\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_n]$，则有 $\mathbf{A}=\mathbf{U}\mathbf{\Lambda }{\mathbf{U}}^{\ast }$。代入（2）有：
R = x ∗ A x x ∗ x = x ∗ U Λ U ∗ x x ∗ I x = x ∗ U Λ U ∗ x x ∗ U U ∗ x   Let  z = U ∗ x = [ z i ] , i ∈ [ 1 , n ]   R = z ∗ Λ z z ∗ z = λ 1 ∣ z 1 ∣ 2 + ⋯ + λ n ∣ z n ∣ 2 ∣ z 1 ∣ 2 + ⋯ + ∣ z n ∣ 2 ≤ λ 1 ( 4 ) R=\frac{\mathbf x^*\mathbf A \mathbf x}{\mathbf x^*\mathbf x}=\frac{\mathbf x^*\mathbf U\mathbf \Lambda \mathbf U^*\mathbf x}{\mathbf x^*\mathbf I\mathbf x}=\frac{\mathbf x^*\mathbf U\mathbf \Lambda \mathbf U^*\mathbf x}{\mathbf x^*\mathbf U\mathbf U^*\mathbf x}\\ \ \\ \text{Let } \mathbf z=\mathbf U^*\mathbf x=[z_i] ,i\in[1,n]\\ \ \\ R=\frac{\mathbf z^*\mathbf \Lambda \mathbf z}{\mathbf z^*\mathbf z}=\frac{\lambda_1\vert z_1\vert^2+\cdots + \lambda_n\vert z_n\vert^2}{\vert z_1\vert^2+\cdots+\vert z_n\vert^2}\le \lambda_1\qquad(4) R=x∗xx∗Ax​=x∗Ixx∗UΛU∗x​=x∗UU∗xx∗UΛU∗x​ Let z=U∗x=[zi​],i∈[1,n] R=z