抄书——最优化的理论与方法（3）——数学基础（矩阵的Rayleigh商）

定义 1.2.4：
设 $A$ 是 $n\times n$ Hermite 矩阵，$u\in C^n$，则称：
$$R_{\lambda }(u)=\frac{u^{\ast }Au}{u^{\ast }u},u̸=0(1.2.28)$$
为 Hermite 矩阵 $A$ 的 Rayleigh 商（Rayleigh Quotient）。
定理 1.2.5：
设 $A$ 是 $n\times n$ Hermite 矩阵，$u\in C^n$，则（1.2.28）定义的 Rayleigh 商具有下列基本性质：
（1）齐次性
$$R_{\lambda }(\alpha u)=R_{\lambda }(u),\alpha ̸=0(1.2.29)$$
（2）极性
$$\begin{gathered} {\lambda }_1=\underset{\Vert u{\Vert }_2=1}{\max }{u}^{\ast }Au=\underset{\Vert u\Vert ̸=0}{\max }\frac{u^{\ast }Au}{u^{\ast }u}(1.2.30) \\ {\lambda }_n=\underset{\Vert u{\Vert }_2=1}{\min }{u}^{\ast }Au=\underset{\Vert u\Vert ̸=0}{\min }\frac{u^{\ast }Au}{u^{\ast }u}(1.2.31) \end{gathered}$$
这表明 Rayleigh 商具有有界性
$${\lambda }_n\le R_{\lambda }(u)\le {\lambda }_1(1.2.32)$$
（3）极小残量性质：对任意 $u\in C^n$
$$\Vert (A-R_{\lambda }(u)I)u\Vert \le \Vert (A-\mu I)u\Vert ,\forall \mu \in R(1.2.33)$$
证明：
性质(1)从定义 1.2.4 可以直接得到。
由于性质(1)，我们可以在单位球面 $\Vert x{\Vert }_2=1$ 上讨论 Rayleigh商，即
$$R_{\lambda }(u)=u^{\ast }Au,\Vert u{\Vert }_2=1$$
设酉矩阵 $T$ 将 $A$ 化为对角矩阵，$T^{\ast }AT=\Lambda$（这是由$A$ 是 Hermite 矩阵得到的）， 又设 $u=Ty\Rightarrow y=T^{\ast }u$，则
$$u^{\ast }Au=u^{\ast }T\Lambda T^{\ast }u=y^{\ast }\Lambda y=\sum _{i=1}^n{\lambda }_i|y_i{|}^2\{\begin{array}{c}\ge {\lambda }_n{\sum }_{i=1}^n|y_i{|}^2\\ \le {\lambda }_1{\sum }_{i=1}^n|y_i{|}^2\end{array}$$
注意到 $\Vert u{\Vert }_2=\Vert y{\Vert }_2=1$，因而有界性得到，并且当 $y_1=1,y_i=0,i̸=1$时，极大值 ${\lambda }_1$ 达到；当 $y_n=1,y_j=0,j̸=n$时，极小值 ${\lambda }_n$ 达到，从而性质（2）成立。
为了证明性质（3），我们定义
$$s(u)=Au-R_{\lambda }(u)u,u̸=0(1.2.34)$$
于是有
$$Au=s(u)+R_{\lambda }(u)u(1.2.35)$$
由于
$$(s(u),u)=(Au-R_{\lambda }(u)u,u)=u^{\ast }(Au-R_{\lambda }(u)u)=u^{\ast }Au-u^{\ast }{R}_{\lambda }(u)u=0$$
可知 $A$ 的分解（1.2.35）是直交分解，从而 $R_{\lambda }(u)u$ 是 $Au$ 在 L = { u } L=\{ u\} L={u} 上的直交投影，从而（1.2.34）定义的残量具有极小性质（3）。