瑞利商及其极值的计算

前言

由于瑞利商在很多机器学习技术（PCA、LDA、谱聚类等）中都有涉及，因此在此处专门记录一下瑞利商的性质证明及其极值的计算，以供自己后续复习及查阅之用。

一、瑞利商的定义及其性质

对于一个埃尔米特矩阵 $M$ 及非零向量 $x$ ，定义瑞利商：
$$R(M,x)=\frac{x^{\ast }Mx}{x^{\ast }x}$$
这里的 $x^{\ast }$ 是 $x$ 的共轭转置矩阵，如果 $M$ , $x$ 都由实数元素组成，那么瑞利商可以写成：
$$R(M,x)=\frac{x^{T}Mx}{x^{T}x}$$
设 $M$ 的特征值与特征向量分别为 ${\lambda }_1,{\lambda }_2,...,{\lambda }_n$ ，$v_1,v_2,...,v_n$ ，并且有：
$${\lambda }_{min}={\lambda }_1\le {\lambda }_2\le ...\le {\lambda }_n={\lambda }_{max}$$
即瑞利商具有如下性质：
$${\lambda }_{min}\le \frac{x^{H}Mx}{x^{H}x}\le {\lambda }_{max}$$

二、性质证明

下面将证明，在 $M$ 确定的情况下：
$$\begin{gathered} \underset{x}{\max }R(M,x)={\lambda }_n \\ \underset{x}{\min }R(M,x)={\lambda }_1 \end{gathered}$$
由于 $M$ 是一个埃尔米特矩阵，所以存在一个酉矩阵 $U$ 满足：
$$M=UA{U}^T$$
其中 $A=diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$ ，将上式代入瑞利商：
$$R(M,x)=\frac{x^{T}UA{U}^{T}x}{x^{T}x}=\frac{(U^{T}x{)}^{T}A(U^{T}x)}{x^{T}x}$$
假设 $p=U^{T}x$ ，那么：
$$R(M,x)=\frac{p^{T}Ap}{x^{T}x}=\frac{{\sum }_{i=1}^n{\lambda }_i|p_i{|}^2}{{\sum }_{i=1}^n|x_i{|}^2}$$
根据特征值的大小关系，可得如下不等式：
$${\lambda }_1\sum _{i=1}^n|p_i{|}^2\le \sum _{i=1}^n{\lambda }_i|p_i{|}^2\le \sum _{i=1}^n{\lambda }_n|p_i{|}^2$$
于是有：
$$\frac{{\lambda }_1{\sum }_{i=1}^n|p_i{|}^2}{{\sum }_{i=1}^n|x_i{|}^2}\le R(M,x)\le \frac{{\lambda }_n{\sum }_{i=1}^n|p_i{|}^2}{{\sum }_{i=1}^n|x_i{|}^2}$$
设 $U$ 的第 $i$ 行，第 $j$ 列元素为 $u_{ij}$ ，$U^T$ 的第 $i$ 行，第 $j$ 列元素为 $u_{ji}$ ，那么：
$$p_i=\sum _{j=1}^n{u}_{ji}{x}_j$$
$$p_i^T=\sum _{j=1}^n{x}_j{u}_{ij}$$
$$|p_i{|}^2=p_i^T{p}_i=\sum _{j=1}^n\sum _{k=1}^n{x}_j{u}_{ij}{u}_{ki}{x}_k$$
于是：
$$\sum _{i=1}^n|p_i{|}^2=\sum _{j=1}^n\sum _{k=1}^n(\sum _{i=1}^n{u}_{ki}{u}_{ij})x_j{x}_k$$
由于 $U$ 是酉矩阵，即：
$$U^{T}U=I$$
写成展开式形式为：
$$I_{jk}=\sum _{i=1}^n{u}_{ji}{u}_{ik}$$
当 $j\ne k$ 时， $I_{jk}=0$ ，当 $j=k$ 时，$I_{jk}=1$ ，所以可以得到：
$$\sum _{i=1}^n|p_i{|}^2=\sum _{i=1}^n|x_i{|}^2$$
代入上述不等式，可得：
$${\lambda }_1\le R(M,x)\le {\lambda }_n$$
并且当 $x=v_1$ 时 $R(M,x)={\lambda }_1$， 当 $x=v_n$ 时 $R(M,x)={\lambda }_n$。这就证明了前面的结论。

三、求解瑞利商的极值

如果我们用 $x\prime =cx$ 来取代 $x$ ，其中 $c$ 为非零的实数，发现：
$$R(M,x^{\prime })=\frac{x^{\prime T}M{x}^{\prime }}{x^{\prime T}{x}^{\prime }}=\frac{c{x}^{T}Mxc}{c{x}^{T}xc}=R(M,x)$$
也就是说，对 $x$ 进行等比例缩放并不会影响瑞利商的值，即：
$$R(M,cx)=R(M,x)$$
于是，我们可以令 $x^{T}x=1$ ，这样就有 $R(M,x)=x^{T}Mx$ 。此时对瑞利商求极值就是在约束 $x^{T}x=1$ 条件下，对 $x^{T}Mx$ 求极值。下面使用拉格朗日乘子法来解，定义拉格朗日函数：
$$L(x,\lambda )=x^{T}Mx-\lambda (x^{T}x-1)$$
对 $x$ 求梯度，并令值为 $0$ ：
$${\nabla }_{x}L=Mx-\lambda x=0$$
即 $M$ 的特征值能使得瑞利商取得极值，并且 $R(M,x)=\lambda$ 。
瑞利商的另一种推广形式——广义瑞利商，在 Fisher 线性判别分析中有重要应用。定义：
$$R(M,x,Q)=\frac{x^{T}Mx}{x^{T}Qx}$$
其中 $Q$ 为对称正定矩阵，基于同样的理由，我们缩放 $x$ 使得 $x^{T}Qx=1$ ，然后利用拉格朗日乘子法求 $x^{T}Mx$ 的极值，定义：
$$L(x,\lambda )=x^{T}Mx-\lambda (x^{T}Qx-1)$$
然后求梯度取零得到驻点：
$${\nabla }_{x}L=Mx-\lambda Qx=0$$
$$\iff Mx=\lambda Qx$$
$$\iff Q^{-1}Mx=\lambda x$$
也就是说，$R(M,x,Q)$ 的极值在 $Q^{-1}M$ 的特征向量上取得，其极值就为 $Q^{-1}M$ 的特征值。

四、参考文献

① 瑞利商与极值计算