瑞利熵和广义瑞利熵

此内容转载于这篇博客
我们首先来看看瑞利商的定义。瑞利商是指这样的函数$R(A,x)$:

$$R(A,x) = \frac{x^HAx}{x^Hx}$$

　　　　其中$x$为非零向量，而$A$为$n \times n$的Hermitan矩阵。所谓的Hermitan矩阵就是满足共轭转置矩阵和自己相等的矩阵，即$A^H=A$。如果我们的矩阵A是实矩阵，则满足$A^T=A$的矩阵即为Hermitan矩阵。

　　　　瑞利商$R(A,x)$有一个非常重要的性质，即它的最大值等于矩阵$A$最大的特征值，而最小值等于矩阵$A$的最小的特征值，也就是满足

$$\lambda_{min} \leq \frac{x^HAx}{x^Hx} \leq \lambda_{max}$$

　　　　具体的证明这里就不给出了。当向量$x$是标准正交基时，即满足$x^Hx=1$时，瑞利商退化为：$R(A,x) = x^HAx$，这个形式在谱聚类和PCA中都有出现。

　　　　以上就是瑞利商的内容，现在我们再看看广义瑞利商。广义瑞利商是指这样的函数$R(A,B,x)$:

$$R(A,x) = \frac{x^HAx}{x^HBx}$$

　　　　其中$x$为非零向量，而$A,B$为$n \times n$的Hermitan矩阵。$B$为正定矩阵。它的最大值和最小值是什么呢？其实我们只要通过将其通过标准化就可以转化为瑞利商的格式。我们令$x'=B^{-1/2}x$,则分母转化为：

$$x^HBx = x'^H(B^{-1/2})^HBB^{-1/2}x' = x'^HB^{-1/2}BB^{-1/2}x' = x'^Hx'$$

　　　　而分子转化为：

$$x^HAx = x'^HB^{-1/2}AB^{-1/2}x'$$

　　　　此时我们的$R(A,B,x)$转化为$R(A,B,x')$:

$$R(A,B,x') = \frac{x'^HB^{-1/2}AB^{-1/2}x'}{x'^Hx'}$$

　　　　利用前面的瑞利商的性质，我们可以很快的知道，$R(A,B,x)$的最大值为矩阵$B^{-1/2}AB^{-1/2}$的最大特征值，或者说矩阵$B^{-1}A$的最大特征值，而最小值为矩阵$B^{-1}A$的最小特征值。如果你看过我写的谱聚类（spectral clustering）原理总结第6.2节的话，就会发现这里使用了一样的技巧，即对矩阵进行标准化。