Hermite矩阵的特征值变分性质

courant–friedrich极小极大定理

矩阵A是一个Hermite矩阵，其特征值${\lambda }_1\le {\lambda }_2\cdots \le {\lambda }_n$

有$${\lambda }_i=\underset{\dim V=i,V\in C^n}{\min }\underset{x\in V,||x|{|}_2=1}{\max }{x}^{H}Ax$$

$${\lambda }_i=\underset{\dim V=n-i+1,V\in C^n}{\max }\underset{x\in V,||x|{|}_2=1}{\min }{x}^{H}Ax$$

Proof:

首先假设A的特征值对应的单位正交特征向量是$u_1,\dots ,u_n$。
对于i维空间V， dim ⁡ V ∩ s p a n { u i , … , u n } = dim ⁡ V + dim ⁡ s p a n { u i , … , u n } − dim ⁡ V ∪ s p a n { u i , … , u n } ≥ i + n − i + 1 − n = 1 \dim V\cap span \{u_i,\dots,u_n\} = \dim V+\dim span\{u_i,\dots,u_n\}-\dim V\cup span \{u_i,\dots,u_n\}\ge i+n-i+1-n=1 dimV∩span{ui​,…,un​}=dimV+dimspan{ui​,…,un​}−dimV∪span{ui​,…,un​}≥i+n−i+1−n=1。

所以假设 x ∈ V ∩ s p a n { u i , … , u n } , x = ∑ k = i n a k u k , ∣ ∣ x ∣ ∣ 2 = 1 x\in V\cap span \{u_i,\dots,u_n\}, x=\sum_{k=i}^na_ku_k,||x||_2=1 x∈V∩span{ui​,…,un​},x=∑k=in​ak​uk​,∣∣x∣∣2​=1。

$$x^{H}Ax=x^H\sum _{k=i}^n{a}_k{\lambda }_k{u}_k=\sum _{k=i}^n{a}_k^2{\lambda }_k\ge {\lambda }_i$$

所以
$$\underset{x\in V,||x|{|}_2=1}{\max }{x}^{H}Ax\ge {\lambda }_i$$

$$\underset{\dim V=i}{\min }\underset{x\in V,||x|{|}_2=1}{\max }{x}^{H}Ax\ge {\lambda }_i$$

当 V = s p a n { u 1 , … , u i } V=span \{u_1,\dots,u_i\} V=span{u1​,…,ui​}时候可以取得等号。从而$${\lambda }_i=\underset{\dim V=i,V\in C^n}{\min }\underset{x\in V,||x|{|}_2=1}{\max }{x}^{H}Ax$$

Weyl不等式

形式一

$${\lambda }_i(A)+{\lambda }_1(B)\le {\lambda }_i(A+B)\le {\lambda }_i(A)+{\lambda }_n(B)$$

$${\lambda }_1(B)\le {\lambda }_i(A+B)-{\lambda }_i(A)\le {\lambda }_n(B)$$

Proof:

根据courant–friedrich极小极大定理
$$\begin{array}{rl}& {\lambda }_i(A+B)=\underset{\dim V=i,V\in C^n}{\min }\underset{x\in V}{\max }\frac{x^H(A+B)x}{x^{H}x}\\ & \le \underset{\dim V=i,V\in C^n}{\min }(\underset{x\in V}{\max }\frac{x^{H}Ax}{x^{H}x}+\underset{x\in V}{\max }\frac{x^{H}Bx}{x^{H}x})\le {\lambda }_i(A)+{\lambda }_n(B)\end{array}$$

同理可证。

形式二

注意到$||A|{|}_2={\max }_{i=1\dots ,n}|{\lambda }_i(A)|$

$$\underset{i=1,\dots ,n}{\max }|{\lambda }_i(A+B)-{\lambda }_i(A)|\le ||B|{|}_2$$

形式三

若B是半正定，那么${\lambda }_1(B)=0$

$${\lambda }_i(A)\le {\lambda }_i(A+B)$$

Hoffman–Wielandt不等式

$$\sum _{i=1}^n({\lambda }_i(A)-{\lambda }_i(B){)}^2\le ||A-B|{|}_F^2$$

Cauchy交错定理

形式一

如果C是A的n-1阶主子式，那么
$${\lambda }_i(A)\le {\lambda }_i(C)\le {\lambda }_{i+1}(A),i=1,\dots ,n-1$$

推论

若$\lambda$是A的m重特征值，那么$\lambda$至少是C的m-1重特征值。

形式二

如果C是A的n-k阶主子式，那么
$${\lambda }_i(A)\le {\lambda }_i(C)\le {\lambda }_{i+k}(A),i=1,\dots ,n-k$$

形式三

存在$X\in C^{n\times m},X^{H}X=I_m,n\ge m$，那么
$${\lambda }_i(A)\le {\lambda }_i(X^{H}AX)\le {\lambda }_{i+n-m}(A),i=1,\dots ,m$$

Proof:

根据courant–friedrich极小极大定理
$$\begin{array}{rl}& {\lambda }_i(X^{H}AX)=\underset{\dim V=i,V\in C^m}{\min }\underset{x\in V}{\max }\frac{x^H{X}^{H}AXx}{x^{H}x}=\underset{\dim V=i,V\in C^m}{\min }\underset{x\in V}{\max }\frac{x^H{X}^{H}AXx}{(Xx{)}^{H}Xx}\\ & =\underset{\dim V=i,V\in C^m,W=XV}{\min }\underset{y=Xx\in W}{\max }\frac{y^{H}Ay}{y^{H}y}\ge \underset{\dim W=i,W\in C^n}{\min }\underset{y=Xx\in W}{\max }\frac{y^{H}Ay}{y^{H}y}={\lambda }_i(A)\end{array}$$

最后一个不等式成立是因为W=XV这个子空间变换虽然不改变子空间维数，但是并不是从m维复空间到n维复空间的满射。比如$X=\left(\begin{array}{c}{I}_m\\ 0_{n-m,m}\end{array}\right)$,$W=XV=\left(\begin{array}{c}V\\ 0_{n-m,m}\end{array}\right)$并不能代表整个n维复空间。左边min函数的约束强，所以成立不等式。

同样的，

$$\begin{array}{rl}& {\lambda }_i(X^{H}AX)=\underset{\dim V=m-i+1,V\in C^m}{\max }\underset{x\in V}{\min }\frac{x^H{X}^{H}AXx}{x^{H}x}=\underset{\dim V=m-i+1,V\in C^m}{\max }\underset{x\in V}{\min }\frac{x^H{X}^{H}AXx}{(Xx{)}^{H}Xx}\\ & =\underset{\dim V=m-i+1,V\in C^m,W=XV}{\max }\underset{y=Xx\in W}{\min }\frac{y^{H}Ay}{y^{H}y}\le \underset{\dim W=m-i+1,W\in C^n}{\max }\underset{y=Xx\in W}{\min }\frac{y^{H}Ay}{y^{H}y}={\lambda }_{n-m+i}(A)\end{array}$$

樊氏迹极小化定理

$$\sum _{i=1}^n{\lambda }_i(A)=\underset{X\in C^{n\times m},X^{H}X=I_m}{\min }tr(X^{H}AX)$$

这是Cauchy交错定理中形式三左边取等部分。