瑞利商性质及证明（上下界）

November丶Chopin

已于 2023-12-27 10:42:15 修改

阅读量4.3k

点赞数 5

分类专栏：专栏10-数学知识文章标签：线性代数

于 2022-12-15 23:15:51 首次发布

本文链接：https://blog.csdn.net/u012762410/article/details/128323279

版权

专栏10-数学知识专栏收录该内容

1 篇文章 1 订阅

订阅专栏

前言

在推导标准化拉普拉斯矩阵的特征值范围时，用到了瑞利商，它也是LDA最大化目标函数使用的定义。

瑞利商定义

瑞利商的定义为：
$R(A,x)=\frac{x^TAx}{x^Tx}$ ，其中 $A$ 为 $n\times n$ 对称矩阵， $x$ 为 $n$ 维度向量。

瑞利商性质

设对称矩阵 $A$ 的特征值为 $\lambda_1\le\lambda_2\le\cdots\le\lambda_n$ ，对应的特征向量为 $v_1,v_2,\cdots,v_n$ 。有：
$\mathop{max}\limits_{x}R(A,x)=\lambda_n \\ \mathop{min}\limits_{x}R(A,x)=\lambda_1$

瑞利商性质证明

瑞利商的上下界

由于A为对称矩阵，可以进行相似对角化：
$A=U\Lambda U^T$ ，其中特征对角阵 $\Lambda=diag(\lambda_1,\lambda_2,...,\lambda_n)$ ，特征向量阵 $U=(v_1,v_2,...,v_n)$ ，且满足 $UU^T=I$ 。有：
$R(A,x)=\frac{x^TAx}{x^Tx}=\frac{x^TU\Lambda U^Tx}{x^TUU^Tx}$ ，令 $y=U^Tx$ ，有：
$\begin{aligned} R(A,x)&=\frac{y^T\Lambda y}{y^Ty}\\ \end{aligned}$ $\because$
$\begin{aligned} &y^T\Lambda y=[y_1,y_2,\cdots,y_n] \begin{bmatrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & \lambda_n \\ \end{bmatrix} \begin{bmatrix} y_1\\ y_2\\ \vdots\\ y_n\\ \end{bmatrix}=\sum_i^n\lambda_iy_i^2 \\ &yy^T=[y_1,y_2,\cdots,y_n] \begin{bmatrix} y_1\\ y_2\\ \vdots\\ y_n\\ \end{bmatrix}=\sum_i^ny_i^2 \\ \end{aligned}$ $\therefore$
$\begin{aligned} R(A,x)=\frac{\mathop{\sum}\limits_{i}^n \lambda_iy_i^2}{\mathop{\sum}\limits_{i}^n y_i^2} \end{aligned}$ 由于特征值大小关系 $\lambda_1\le\lambda_2\le\cdots\le\lambda_n$ ，显然有：

$\lambda_1\mathop{\sum}\limits_{i}^n y_i^2 \leq \mathop{\sum}\limits_{i}^n\lambda_i y_i^2 \leq \lambda_n \mathop{\sum}\limits_{i}^n y_i^2$ ，于是有：
$\frac{\lambda_1\mathop{\sum}\limits_{i}^n y_i^2}{\mathop{\sum}\limits_{i}^n y_i^2} \leq \frac{\mathop{\sum}\limits_{i}^n\lambda_i y_i^2}{\mathop{\sum}\limits_{i}^n y_i^2} \leq \frac{\lambda_n \mathop{\sum}\limits_{i}^n y_I^2}{\mathop{\sum}\limits_{i}^n y_i^2}$ ，即：
$\lambda_1 \leq R(A,x) \leq \lambda_n$

瑞利商的上下确界

上一节已经证明了瑞利商的范围为 $[\lambda_{min}, \lambda_{max}]$ ，要想知道上、下确界为 $\lambda_{min}, \lambda_{max}$ ，只需要寻找特殊值使 $\lambda_1$ 或 $\lambda_n$ 即可。

由于 $v_1,v_2,...,v_n$ 是 $n$ 维空间的一组单位正交基，因此可以设 $n$ 维向量 $x=\sum_{i=1}^{n} k_iv_i$ ，为简单起见，我们设 $x^Tx=1$ 。有：

$y=U^Tx= \begin{bmatrix} v_1^T\\ v_2^T\\ \vdots\\ v_n^T\\ \end{bmatrix} (k_1v+k_2v_2+\cdots+k_nv_n)= \begin{bmatrix} k_1\\ k_2\\ \vdots\\ k_n\\ \end{bmatrix}$ ，所以有：
$\begin{aligned} R(A,x)&=\frac{x^TAx}{x^Tx} \\ &={\frac {x^TU\Lambda U^T x} {x^Tx}} \\ &=y^T\Lambda y\\ &=[k_1,k_2,\cdots,k_n] \begin{bmatrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & \lambda_n \\ \end{bmatrix} \begin{bmatrix} k_1\\ k_2\\ \vdots\\ k_n\\ \end{bmatrix} \\ &=\sum_{i=1}^nk_i^2\lambda_i \end{aligned}$ 显然有： $\lambda_1\sum_{i=1}^nk_i^2\le\sum_{i=1}^nk_i^2\lambda_i<\lambda_n\sum_{i=1}^nk_i^2$ ，即：
$\lambda_1\le R(A,x)\le\lambda_n$
因为 $R(A,x)=\sum_{i=1}^nk_i^2\lambda_i=k_1^2\lambda_1+k_2^2\lambda_2+\cdots+k_n^2\lambda_n$ ， $k_1^2+k_2^2+\cdots+k_n^2=1$ ，所以：