【记录读论文时遇到的一些算法6】—— 谱定理 & 瑞利熵

1.谱定理

假设$\mathbf{A}\in R^{n,n}$是一个实对称矩阵，${\lambda }_i\in R,i=1,2,\cdots ,n$ 是 $\mathbf{A}$的特征值，$u_i\in R_n,i=1,2,\cdots ,n$是$\mathbf{A}$的特征向量，那么 $\mathbf{A}{u}_i=$ ${\lambda }_i{u}_i$。同时，还存在一个正交矩阵$U=\left[u_1,\cdots ,u_n\right]$ ( $U{U}^T=$ $U^{T}U=I_n$ )，有：
$$\begin{gathered} \mathbf{A}=U\Lambda U^T=\left[\begin{array}{lll}{\mathbf{u}}_1& \cdots & {\mathbf{u}}_n\end{array}\right]\left[\begin{array}{ccc}{\lambda }_1& & 0\\ & \ddots & \\ 0& & {\lambda }_n\end{array}\right]\left[\begin{array}{c}{\mathbf{u}}_1^T\\ ⋮\\ {\mathbf{u}}_n^T\end{array}\right] \\ =\left[\begin{array}{lll}{\lambda }_1{\mathbf{u}}_1& \cdots & {\lambda }_n{\mathbf{u}}_n\end{array}\right]\left[\begin{array}{c}{\mathbf{u}}_1^T\\ ⋮\\ {\mathbf{u}}_n^T\end{array}\right] \\ =\sum _{i=1}^n{\lambda }_i{\mathbf{u}}_i{\mathbf{u}}_i^T\text{\hspace{1em}(1)} \end{gathered}$$

我们有公式 $A={\lambda }_1{\mathbf{u}}_1{\mathbf{u}}_1^T+{\lambda }_2{\mathbf{u}}_2{\mathbf{u}}_2^T+\cdots +{\lambda }_n{\mathbf{u}}_n{\mathbf{u}}_n^T$.

这个 $A$ 的表示称为 $A$ 的谱分解 (spectral decomposition), 因为它将 $A$ 分解成 $A$ 的谱 (特征值) 决定的小块. 每个矩阵 ${\mathbf{u}}_j{\mathbf{u}}_j^T$ 是投影矩阵(projection matrix), 对每个向量 $\mathbf{x}\in {\mathbb{R}}^n,{\mathbf{u}}_j{\mathbf{u}}_j^T\mathbf{x}=\left({\mathbf{u}}_j^T\mathbf{x}\right){\mathbf{u}}_j$.

2.瑞利熵

假设$\mathbf{A}\in R^{n,n}$是一个实对称矩阵，${\lambda }_i\in R,i=1,2,\cdots ,n$ 是 $\mathbf{A}$的特征值，$u_i\in R_n,i=1,2,\cdots ,n$是$\mathbf{A}$的特征向量，那么：
$$\begin{array}{rl}& {\lambda }_{\min }(A)\le \frac{x^{T}Ax}{x^{T}x}\le {\lambda }_{\max }(A),\forall x\ne 0\\ & {\lambda }_{\max }(A)=\underset{x:\Vert x{\Vert }_2=1}{\max }{x}^{T}Ax\\ & {\lambda }_{\min }(A)=\underset{x:\Vert x{\Vert }_2=1}{\min }{x}^{T}Ax\end{array}$$
其中最大和最小的特征值对用的特征向量分别为$x=u_1$和 $x=u_n$。

证明：

• 利用谱定理, $U$ 是正交的, $\Lambda$ 是对角矩阵：
  $$x^{T}Ax=x^{T}U\Lambda U^{T}x={\bar{x}}^T\Lambda \bar{x}=\sum _{i=1}^n{\lambda }_i{\bar{x}}_i^2$$
• 很明显：
  $${\lambda }_{\min }\sum _{i=1}^n{\bar{x}}_i^2\le \sum _{i=1}^n{\lambda }_i{\bar{x}}_i^2\le {\lambda }_{\max }\sum _{i=1}^n{\bar{x}}_i^2$$
• 此外, 正交矩阵 $U$ 无法改变任何向量的norm：
  $$\sum _{i=1}^n{x}_i^2=x^{T}x=x^{T}U{U}^{T}x={\left(U^{T}x\right)}^T\left(U^{T}x\right)={\bar{x}}^T\bar{x}=\sum _{i=1}^n{\bar{x}}_i^2$$
• 对上述的三个式子进行结合得到：
  $${\lambda }_{\min }{x}^{T}x\le x^{T}Ax\le {\lambda }_{\max }{x}^{T}x$$