冯诺依曼(Von Neumann)迹不等式证明

冯诺依曼迹不等式的定义

假设$\mathbf{A}\in {\mathbb{S}}_{++}^n$，$\mathbf{B}\in {\mathbb{S}}_{++}^n$，其特征值分别为：
$${\lambda }_1(\mathbf{A})\ge {\lambda }_2(\mathbf{A})\ge \cdots \ge {\lambda }_n(\mathbf{A})>0,{\lambda }_1(\mathbf{B})\ge {\lambda }_2(\mathbf{B})\ge \cdots \ge {\lambda }_n(\mathbf{B})>0$$
有如不等式成立：
$$\sum _{i=1}^n{\lambda }_i(\mathbf{A}){\lambda }_{n-i+1}(\mathbf{B})\le \mathrm{t}\mathrm{r}(\mathbf{A}\mathbf{B})=\sum _{i=1}^n{\lambda }_i(\mathbf{A}\mathbf{B})\le \sum _{i=1}^n{\lambda }_i(\mathbf{A}){\lambda }_i(\mathbf{B})$$
该不等式称为：冯诺依曼不等式。

本文主要证明冯诺依曼迹不等式的左边部分，右边不等式较为容易理解。

冯诺依曼迹不等式的证明

柯西中值定理

在证明之前需要引入一个重要的柯西中值定理（Cauchy Interlacing Theorem）：

$${\lambda }_{i+1}(\mathbf{C})\le {\lambda }_i(\tilde{\mathbf{C}})\le {\lambda }_i(\mathbf{C})$$
其中$\tilde{\mathbf{C}}\in {\mathbb{S}}_{++}^{n-1}$是$\mathbf{C}\in {\mathbb{S}}_{++}^n$$n-1$维度的主子矩阵(Principal submatrix)。

证：
存在一个正交矩阵$\mathbf{P}\in {\mathbb{R}}^{(n)\times (n-1)}$使得${\mathbf{P}}^{\mathrm{T}}\mathbf{C}\mathbf{P}=\tilde{\mathbf{C}}$，对于$i\le n-1$基于Courant-Fischer theorem，有：
$${\lambda }_i(\tilde{\mathbf{C}})=\underset{{\mathcal{S}}_i\subseteq {\mathbb{R}}^{n-1}}{\max }\underset{\mathbf{x}\in {\mathcal{S}}_i,\Vert \mathbf{x}{\Vert }_2=1}{\min }{\mathbf{x}}^{\mathrm{T}}\tilde{\mathbf{C}}\mathbf{x}=\underset{{\mathcal{S}}_i\subseteq {\mathbb{R}}^{n-1}}{\max }\underset{\mathbf{x}\in {\mathcal{S}}_i,\Vert \mathbf{x}{\Vert }_2=1}{\min }(\mathbf{P}\mathbf{x}{)}^{\mathrm{T}}\mathbf{C}(\mathbf{P}\mathbf{x})\le \underset{{\mathcal{P}}_i\in {\mathbb{R}}^n}{\max }\underset{\mathbf{y}\in {\mathcal{P}}_i,\Vert \mathbf{y}{\Vert }_2=1}{\min }{\mathbf{y}}^{\mathrm{T}}\mathbf{C}\mathbf{y}={\lambda }_i(\mathbf{C})$$

同时有：
$${\lambda }_i(\tilde{\mathbf{C}})=\underset{{\mathcal{S}}_{n-i}\in {\mathbb{R}}^{n-1}}{\min }\underset{\mathbf{x}\in {\mathcal{S}}_{n-i},\Vert \mathbf{x}{\Vert }_2=1}{\max }{\mathbf{x}}^{\mathrm{T}}\tilde{\mathbf{C}}\mathbf{x}=\underset{{\mathcal{S}}_{n-i}\subseteq {\mathbb{R}}^{n-1}}{\min }\underset{\mathbf{x}\in {\mathcal{S}}_{n-i},\Vert \mathbf{x}{\Vert }_2=1}{\max }(\mathbf{P}\mathbf{x}{)}^{\mathrm{T}}\mathbf{C}(\mathbf{P}\mathbf{x})\ge \underset{{\mathcal{P}}_{n-i}\in {\mathbb{R}}^n}{\min }\underset{\mathbf{y}\in {\mathcal{P}}_{n-i},\Vert y{\Vert }_2=1}{\max }{\mathbf{y}}^{\mathrm{T}}\mathbf{C}\mathbf{y}={\lambda }_{i+1}(\mathbf{C})$$

综上：
$${\lambda }_{i+1}(\mathbf{C})\le {\lambda }_i(\tilde{\mathbf{C}})\le {\lambda }_i(\mathbf{C})$$
证毕。

数学归纳法

基于上面的柯西中值定理，然后利用数学归纳法证明：

$$\sum _{i=1}^{n-1}({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}})-{\lambda }_n({\mathbf{\Lambda }}_{\mathbf{A}})){\mathbf{C}}_{i,i}\ge \sum _{i=1}^{n-1}({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}})-{\lambda }_n({\mathbf{\Lambda }}_{\mathbf{A}})){\lambda }_{n-i}(\tilde{\mathbf{C}})$$

证明：

定义对角矩阵${\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }}\in {\mathbb{S}}_{++}^{k+1}$和${\mathbf{C}}^{{}^{\prime }}\in {\mathbb{S}}_{++}^{k+1}$，其中对角阵${\mathbf{\Lambda }}_{\mathbf{A}}\in {\mathbb{S}}_{++}^k$和$\mathbf{C}\in {\mathbb{S}}_{++}^k$分别是${\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }}$和${\mathbf{C}}^{{}^{\prime }}$的$k$维主子矩阵，因此对于任意的$1\le i\le k$，有${\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})={\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}})$和${\mathbf{C}}_{i,i}^{\prime }={\mathbf{C}}_{i,i}$成立。

当$n=2$时，显然成立。

假定当$n=k$时成立，有：
$$\sum _{i=1}^{k-1}\left({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}})-{\lambda }_k({\mathbf{\Lambda }}_{\mathbf{A}})\right){\mathbf{C}}_{i,i}\ge \sum _{i=1}^{k-1}\left({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}})-{\lambda }_k({\mathbf{\Lambda }}_{\mathbf{A}})\right){\lambda }_{k-i}(\tilde{\mathbf{C}})$$
则当$n=k+1$时有：
$$\begin{array}{rl}& \sum _{i=1}^k({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})-{\lambda }_{k+1}({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})){\mathbf{C}}_{i,i}^{\prime }\\ =& \sum _{i=1}^k({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})-{\lambda }_k({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})+{\lambda }_k({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})-{\lambda }_{k+1}({\mathbf{A}}^{\prime })){\mathbf{C}}_{i,i}^{\prime }\\ =& \sum _{i=1}^{k-1}({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})-{\lambda }_k({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})){\mathbf{C}}_{i,i}^{\prime }+({\lambda }_k({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})-{\lambda }_{k+1}({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }}))\sum _{i=1}^k{\mathbf{C}}_{i,i}^{\prime }\\ =& \sum _{i=1}^{k-1}({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}})-{\lambda }_k({\mathbf{\Lambda }}_{\mathbf{A}})){\mathbf{C}}_{i,i}+({\lambda }_k({\mathbf{\Lambda }}_{\mathbf{A}})-{\lambda }_{k+1}({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }}))\sum _{i=1}^k{\mathbf{C}}_{i,i}^{\prime }\\ \ge & \sum _{i=1}^{k-1}({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}})-{\lambda }_k({\mathbf{\Lambda }}_{\mathbf{A}})){\lambda }_{k-i}(\tilde{\mathbf{C}})+({\lambda }_k({\mathbf{\Lambda }}_{\mathbf{A}})-{\lambda }_{k+1}({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }}))\sum _{i=1}^k{\mathbf{C}}_{i,i}^{\prime }\\ \ge & \sum _{i=1}^{k-1}({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})-{\lambda }_k({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})){\lambda }_{k-i+1}(\mathbf{C})+({\lambda }_k({\mathbf{\Lambda }}_{\mathbf{A}}^{\prime })-{\lambda }_{k+1}({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }}))\sum _{i=1}^k{\lambda }_{k-i+1}(\mathbf{C})\\ =& \sum _{i=1}^k({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})-{\lambda }_{k+1}({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})){\lambda }_{k-i+1}(\mathbf{C})\end{array}$$

• 注：第一个不等式利用了$n=k$时成立的不等式，第二个不等式利用了前面的柯西中值定理。
  即：
  $$\sum _{i=1}^k({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})-{\lambda }_{k+1}({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})){\mathbf{C}}_{i,i}^{\prime }\ge \sum _{i=1}^k({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})-{\lambda }_{k+1}({\mathbf{\Lambda }}_{\mathbf{A}}^{{}^{\prime }})){\lambda }_{k-i+1}(\mathbf{C})$$

证毕。

冯诺依曼迹不等式的证明

对$\mathbf{A}$和$\mathbf{A}$做特征值分解分别有：$\mathbf{A}=\mathbf{U}{\mathbf{\Lambda }}_{\mathbf{A}}{\mathbf{U}}^{\mathrm{T}}$和$\mathbf{B}=\mathbf{V}{\mathbf{\Lambda }}_{\mathbf{B}}{\mathbf{V}}^{\mathrm{T}}$，则：
$$\mathrm{tr}(\mathbf{A}\mathbf{B})=\mathrm{tr}\left(\mathbf{U}{\mathbf{\Lambda }}_{\mathbf{A}}{\mathbf{U}}^{\mathrm{T}}\mathbf{V}{\mathbf{\Lambda }}_{\mathbf{B}}{\mathbf{V}}^{\mathrm{T}}\right)=\mathrm{tr}({\mathbf{\Lambda }}_{\mathbf{A}}\underset{\mathbf{Q}}{\underbrace{{\mathbf{U}}^{\mathrm{T}}\mathbf{V}}}{\mathbf{\Lambda }}_{\mathbf{B}}\underset{{\mathbf{Q}}^{\mathrm{T}}}{\underbrace{{\mathbf{V}}^{\mathrm{T}}\mathbf{U}}})=\mathrm{tr}(\underset{\mathrm{C}}{\underbrace{{\mathbf{\Lambda }}_{\mathrm{A}}\mathbf{Q}{\mathbf{\Lambda }}_{\mathbf{B}}{\mathbf{Q}}^{\mathrm{T}}}})=\mathrm{tr}\left({\mathbf{\Lambda }}_{\mathbf{A}}\mathbf{C}\right)=\sum _{i=1}^n{\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}}){\mathbf{C}}_{i,i}=\sum _{i=1}^n{\lambda }_i(\mathbf{A}){\mathbf{C}}_{i,i}$$

不难发现，${\mathbf{\Lambda }}_{\mathbf{A}}$和$\mathbf{A}$有相同的特征值， $\mathbf{C}$和 $\mathbf{B}$有相同的特征值。

$$\begin{array}{rl}\sum _{i=1}^n{\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}}){\mathbf{C}}_{i,i}& =\sum _{i=1}^{n-1}{\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}}){\mathbf{C}}_{i,i}+{\lambda }_n({\mathbf{\Lambda }}_{\mathbf{A}})(\sum _{i=1}^n{\mathbf{C}}_{i,i}-\sum _{i=1}^{n-1}{\mathbf{C}}_{i,i})\\ & =\sum _{i=1}^{n-1}({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}})-{\lambda }_n({\mathbf{\Lambda }}_{\mathbf{A}})){\mathbf{C}}_{i,i}+{\lambda }_n({\mathbf{\Lambda }}_{\mathbf{A}})\sum _{i=1}^n{\mathbf{C}}_{i,i}\\ & \ge \sum _{i=1}^{n-1}({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}})-{\lambda }_n({\mathbf{\Lambda }}_{\mathbf{A}})){\lambda }_{n-i}(\tilde{\mathbf{C}})+{\lambda }_n({\mathbf{\Lambda }}_{\mathbf{A}})\sum _{i=1}^n{\mathbf{C}}_{i,i}\\ & \ge \sum _{i=1}^{n-1}({\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}})-{\lambda }_n({\mathbf{\Lambda }}_{\mathbf{A}})){\lambda }_{n-i+1}(\mathbf{C})+{\lambda }_n({\mathbf{\Lambda }}_{\mathbf{A}})\sum _{i=1}^n{\lambda }_{n-i+1}(\mathbf{C})\\ & =\sum _{i=1}^n{\lambda }_i({\mathbf{\Lambda }}_{\mathbf{A}}){\lambda }_{n-i+1}(\mathbf{C})=\sum _{i=1}^n{\lambda }_i(\mathbf{A}){\lambda }_{n-i+1}(\mathbf{B})\end{array}$$

即：$\mathrm{tr}(\mathbf{A}\mathbf{B})\ge {\sum }_{i=1}^n{\lambda }_i(\mathbf{A}){\lambda }_{n-i+1}(\mathbf{B})$。

• 注：第一个不等式利用了数学归纳法证明的不等式，第二个不等式利用了前面的柯西中值定理。