瑞利商的证明

瑞利商

\qquad 首先我们给出瑞利商(瑞利商是一个标量)的定义：
$$R(A,x)=\frac{x^{T}Ax}{x^{T}x}$$
\qquad 其中$A$为$n\times n$的对称矩阵，$x$为维度为$n$的向量，我们记$A$的从小到大排序的特征值和对应的特征向量为${\lambda }_1,{\lambda }_2,{\lambda }_3...{\lambda }_n;v_1,v_2,v_3...v_n$，满足：
$${\lambda }_{min}={\lambda }_1\le {\lambda }_2\le ...\le {\lambda }_n={\lambda }_{max}$$
\qquad 瑞利商有性质：
$$\underset{x}{\max }R(A,x)={\lambda }_n$$
$$\underset{x}{\min }R(A,x)={\lambda }_1$$

证明：

\qquad 由于A为对称矩阵，可以相似对角化为"正交阵-特征对角阵-正交阵"的性形式：
$$A=U\Lambda U^T$$
\qquad 其中$\Lambda =diag({\lambda }_1,{\lambda }_2,{\lambda }_3...{\lambda }_n)$特征对角阵，$U=(v_1,v_2,c{v}_3...v_n)$为特征向量阵，且为正交阵满足$U{U}^T=I$。由此瑞利商可以转换为：
$$R(A,x)=\frac{x^{T}Ax}{x^{T}x}$$
$$=\frac{x^{T}U\Lambda U^{T}x}{x^{T}U{U}^{T}x}$$
\qquad 我们令$y=U^{T}x$，则瑞利商变为：
$$R(A,x)=\frac{y^T\Lambda y}{y^{T}y}$$
$$=\frac{\sum _i^n{\lambda }_i{y}_i^2}{\sum _i^n{y}_i^2}$$
\qquad 由特征值的大小关系显然有：
$${\lambda }_1\sum _i^n{y}_i^2\le \sum _i^n{\lambda }_i{y}_i^2\le {\lambda }_n\sum _i^n{y}_I^2$$
\qquad 于是有：
$$\frac{{\lambda }_1\sum _i^n{y}_i^2}{\sum _i^n{y}_i^2}\le \frac{\sum _i^n{\lambda }_i{y}_i^2}{\sum _i^n{y}_i^2}\le \frac{{\lambda }_n\sum _i^n{y}_I^2}{\sum _i^n{y}_i^2}$$
$${\lambda }_1\le R(A,x)\le {\lambda }_n$$
\qquad 由此证得瑞利商的上界和下界，下面说明这也是瑞利商的上下确界。

\qquad 不论对向量$x$进行何种放缩，瑞利商不变，对任意非零实数c，对x进行放缩有：
$$R(A,cx)=\frac{c{x}^{T}Acx}{c{x}^{T}cx}=\frac{c^2{x}^{T}Ax}{c^2{x}^{T}x}=R(A,x)$$
\qquad 因此不妨令$x^{T}x=1$，此举不会影响到$x$的任意性

\qquad 由于$v_1,v_2,v_3...v_n$是n维线性空的一组正交基，利用这组正交基对向量$x$进行线性表出，设系数为$a_1,a_2,a_3...a_n$，满足：
$$x=\sum _i^n{a}_i{v}_i$$
\qquad 由于$x^{T}x=1$，则有：
$$x^{T}x=\sum _i^n{a}_i^2=1$$
\qquad 此时考虑到$U=(v_1,v_2,v_3...v_n)$，且有$v_1,v_2,v_3...v_n$相互正交：
$$R(A,x)=\frac{(\sum _i^n{a}_i{v}_i{)}^{T}U\Lambda U^T(\sum _i^n{a}_i{v}_i)}{x^{T}x}$$
$$=(\sum _i^n{a}_i{v}_i{)}^{T}U\Lambda U^T(\sum _i^n{a}_i{v}_i)$$
$$=\sum _i^n{a}_i^2{\lambda }_i$$
\qquad 显然也有：
$${\lambda }_1\le R(A,x)\le {\lambda }_n$$
\qquad 并且由于$\sum _i^n{a}_i^2=1$,可以看出:
\qquad \qquad 当$a_1^2=1,a_2=a_3=...=a_n=0$时，此时$x=v_1$，瑞利商取得最小值${\lambda }_1$
\qquad \qquad 当$a_n^2=1,a_1=a_2=...=a_{n-1}=0$时，此时$x=v_n$，瑞利商取得最大值${\lambda }_n$
\qquad 瑞利商性质证毕。