瑞丽熵 (Rayleigh quotient) 两种启发式证明

瑞丽熵定义如下：

$$R(A,x)=\frac{x^{\ast }Ax}{x^{\ast }x}$$
其中矩阵$A$为$n\times n$的对称矩阵（Hermitian)。

有：
$$\begin{array}{rl}& \underset{\mathbf{x}\ne 0}{\max }\frac{{\mathbf{x}}^{\mathrm{H}}\mathbf{A}\mathbf{x}}{{\mathbf{x}}^{\mathrm{H}}\mathbf{x}}=\underset{{\mathbf{x}}^{\mathrm{H}}\mathbf{x}=1}{\max }\frac{{\mathbf{x}}^{\mathrm{H}}\mathbf{A}\mathbf{x}}{{\mathbf{x}}^{\mathrm{H}}\mathbf{x}}={\mathbf{\lambda }}_{\mathrm{m}\mathrm{a}\mathrm{x}}\\ & \underset{\mathbf{x}\ne 0}{\min }\frac{{\mathbf{x}}^{\mathrm{H}}\mathbf{A}\mathbf{x}}{{\mathbf{x}}^{\mathrm{H}}\mathbf{x}}=\underset{{\mathbf{x}}^{\mathrm{H}}\mathbf{x}=1}{\min }\frac{{\mathbf{x}}^{\mathrm{H}}\mathbf{A}\mathbf{x}}{{\mathbf{x}}^{\mathrm{H}}\mathbf{x}}={\lambda }_{\mathrm{m}\mathrm{i}\mathrm{n}}\end{array}$$

证明1：

因为$A$为对称矩阵，可特征分解为 $A=V^T\Sigma V$。$V=[v_1,...,v_n]$, $\Sigma =\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\lambda }_1,...,{\lambda }_n)$。不妨设$\lambda 1\ge {\lambda }_2\ge ...\ge {\lambda }_n$。

对原式进行如下展开。可得

$$R(A,x)=\frac{x^{\ast }Ax}{x^{\ast }x}=\frac{{\sum }_{i=1}^n{\lambda }_i{y}_i^2}{{\sum }_{i=1}^n{y}_i^2}$$

显然有：
$${\lambda }_1=\frac{{\sum }_{i=1}^n{\lambda }_1{y}_i^2}{{\sum }_{i=1}^n{y}_i^2}\le \frac{{\sum }_{i=1}^n{\lambda }_i{y}_i^2}{{\sum }_{i=1}^n{y}_i^2}\le \frac{{\sum }_{i=1}^n{\lambda }_n{y}_i^2}{{\sum }_{i=1}^n{y}_i^2}={\lambda }_n$$

得证。
同时： 当且仅当$y_1=0,...y_{n-1}=0$成立时，等号成立，取到最大值。 因此，当$x$为$A$的最大特征向量时，瑞丽商最大，为最大特征值。

证明2：

易见，我们可以引入一个限制条件而不影响瑞丽商的结果：$x^{T}x=1$

将这个限制条件用拉格朗日乘子法加入目标函数，有：

$$L=R(A,x)+\lambda (x^{T}x-1)=x^{T}Ax+\lambda (x^{T}x-1)$$.

对$x$求导，有$Ax+\lambda x=0$时取到极值。 那么显然，$x$为$A$的特征向量（特征分解的定义）。注意这里的$\lambda$是拉格朗日乘子，而不是特征值。

由此，可知$x$为$A$的特征向量后，$x^{T}Ax$的结果就是对应的特征值。
证毕。

拓展

$\mathrm{X}$为矩阵时
求解R的最值：
$$R(A,\mathrm{X}）=\mathrm{t}\mathrm{r}({\mathrm{X}}^{T}A\mathrm{X}({\mathrm{X}}^T\mathrm{X}{)}^{-1})$$

令 $\mathbf{X}=U\Sigma V^T$为特征值分解。

$$\begin{array}{rl}& R=\mathrm{tr}\left(\mathrm{V}\sum ^{T}UA{U}^T\sum V^T{\left(V{\Sigma }^T\Sigma V^T\right)}^{-1}\right)\\ & =\mathrm{tr}\left(\sum ^{T}UA{U}^T\Sigma {\left({\Sigma }^T\Sigma \right)}^{-1}\right)\\ & =\mathrm{tr}\left(UA{U}^T\left[\begin{array}{l}I\\ 0\end{array}\right]\left[\begin{array}{ll}I& 0\end{array}\right]\right)\\ & =\mathrm{tr}\left(Q^{T}AQ\right)\\ & Q=U^T\left[\begin{array}{l}I\\ 0\end{array}\right]\end{array}$$

这说明，我们可以直接优化最后的式子$\mathrm{tr}\left(Q^{T}AQ\right)$。显然$Q^{T}Q=I$。因此，对比R的原始式子，我们可以从一开始就增加限制条件， $X^{T}X=I$。

而对于
$$\begin{array}{rl}\underset{X}{\max }& \mathrm{t}\mathrm{r}(X^{T}AX)\\ \text{ s.t. }& X^{T}X=I\end{array}$$
有一个巧妙的启发式证明 $\max \mathrm{t}\mathrm{r}(X^{T}AX)=\sum {\lambda }_i$, 其中 ${\lambda }_i$ 代表 $A$ 的第 $i$ 大特征向量。 首先， 当 $X$ 的每列分别为$A$最大的几个特征向量时， $\mathrm{t}\mathrm{r}(X^{T}AX)=\sum {\lambda }_i$。 因此 $\max \mathrm{t}\mathrm{r}(X^{T}AX)\ge \sum {\lambda }_i$。 然后根据定理：
$$\mathrm{t}\mathrm{r}(X^{T}AX)\le \mathrm{A}=\sum {\lambda }_i$$
得到上界。 结合可知：
$\max \mathrm{t}\mathrm{r}(X^{T}AX)=\sum {\lambda }_i$

定理是如何证明的呢？
$$\mathrm{t}\mathrm{r}(X^{T}AX)=\mathrm{t}\mathrm{r}(X{X}^{T}A)=\mathrm{t}\mathrm{r}(\left(\begin{array}{cc}{\mathbf{I}}_{N_s}& \\ & 0\end{array}\right)K^{T}AK)\le \mathrm{t}\mathrm{r}(K^{T}AK)=\mathrm{t}\mathrm{r}(A)$$

其中利用了 $X{X}^T=K\left(\begin{array}{cc}{\mathbf{I}}_{N_s}& \\ & 0\end{array}\right)K^T$的EVD分解。 (因为 $X{X}^T=I$)。