瑞利商（Rayleigh Quotient）及瑞利定理（Rayleigh-Ritz theorem）的证明

注 数学系列为本人学习笔记，水平有限，错误在所难免，请读者不吝指正。

证明主体部分来自下面的链接。
https://www.planetmath.org/RayleighRitzTheorem

先来看几个基本概念

复平面（Complex Plane）

考虑形如 $a+bi$ 的复数，该数代表复平面上的一个点。复平面中 $x$ 轴代表实数部分，$y$ 轴代表虚数部分，这样 $a+bi$ 在复平面上就代表坐标为 $(a,b)$ 的一个点。复数 $a+bi$ 也可以看作在复平面上以原点 $(0,0)$ 为出发点，以 $(a,b)$ 为终点的向量。这样，对于复数的加减就相当于对复平面上的向量进行加减。

复共轭（complex conjugate） 定义复数 $z=a+bi$ 的共轭 $z^{\ast }$ 为 $z^{\ast }=a-bi$ 。

两个有用的公式
$$z_1^{\ast }\times z_2^{\ast }=(z_1\times z_2{)}^{\ast }\text{\hspace{1em}(1)}$$ $$z_1^{\ast }+z_2^{\ast }=(z_1+z_2{)}^{\ast }\text{\hspace{1em}(2)}$$ 例如 ，$z_1=3+2i$，$z_2=1-i$，则 $$\begin{gathered} z_1^{\ast }\times z_2^{\ast }=(3-2i)\times (1+i)=5+i \\ {z}_1\times z_2=(3+2i)\times (1-i)=5-i \\ {z}_1^{\ast }+z_2^{\ast }=(3-2i)+(1+i)=4-i \\ {z}_1+z_2=(3+2i)+(1-i)=4+i \end{gathered}$$

矩阵特征值和特征向量的共轭
如果 $\mathbf{A}$ 是实数矩阵，并且 $$\mathbf{A}\mathbf{x}=\lambda \mathbf{x}$$ 那么 $$\mathbf{A}{\mathbf{x}}^{\ast }={\lambda }^{\ast }{\mathbf{x}}^{\ast }$$

复数和其共轭相乘或相加得实数 即 $$\begin{gathered} z+z^{\ast }\in \mathbb{R} \\ z\times z^{\ast }\in \mathbb{R} \end{gathered}$$
一些有用的公式 $$\begin{array}{rl}|(a+bi){|}^2& =a^2+b^2\\ (a+bi)(a-bi)& =a^2+b^2\\ \frac{1}{a+bi}& =\frac{1}{a+bi}\frac{a-bi}{a-bi}=\frac{a-bi}{a^2+b^2}\end{array}$$
在单位元上，即 $a^2+b^2=1$ 时，$(a+bi{)}^{-1}=a-bi$，即 $1/z=z^{\ast }$ 。

复数的绝对值
$$|z|=|a+bi|=\sqrt[2]{a^2+b^2}$$ $|z|$ 通常还被记为 $r$ 。当 $a^2+b^2=1$ 时，$r$ 就是单位圆的半径。$z$ 和 $x$ 轴的夹角记为 $\theta$，$z$ 平方后与 $x$ 轴的夹角变为 $2\theta$。

复数的指数形式
$$\begin{gathered} z=r\cos \theta +ir\sin \theta =r{e}^{i\theta } \\ {z}^n=r^n\cos n\theta +i{r}^n\sin n\theta =r^n{e}^{in\theta } \end{gathered}$$ 设 $z^{\prime }=r^{\prime }\cos {\theta }^{\prime }+i{r}^{\prime }\sin {\theta }^{\prime }$，则$$\begin{gathered} z\times z^{\prime }=(r\cos \theta +ir\sin \theta )\times (r^{\prime }\cos {\theta }^{\prime }+i{r}^{\prime }\sin {\theta }^{\prime }) \\ =r{r}^{\prime }(\cos (\theta +{\theta }^{\prime })+i\sin (\theta +{\theta }^{\prime })) \end{gathered}$$

厄米特矩阵（Hermitian Matrix）

对于实数向量 $\mathbf{x}$，其长度平方（length squared）为 $x_1^2+x_2^2+\cdots +x_n^2$。但对于复数向量 $\mathbf{z}$，长度平方就不是 $z_1^2+z_2^2+\cdots +z_n^2$，比如向量 $(1,i)$，如果还按照实数向量长度平方的定义，则 $1^2+i^2=0$ 。如果这么定义，那么一个非零向量的长度平方就有可能是 $0$，这不是一个好的定义。并且这么定义，长度平方还有可能是复数。因此对于复数向量 $\mathbf{z}$，我们定义 ${\mathbf{z}}^{\ast T}\mathbf{z}=||\mathbf{z}|{|}^2$ 。 我们记 ${\mathbf{z}}^{\ast T}={\mathbf{z}}^H$，例如
$$\mathbf{A}=\left[\begin{array}{cc}1& i\\ 0& 1+i\end{array}\right]$$ 则 $${\mathbf{A}}^H=\left[\begin{array}{cc}1& 0\\ -i& 1-i\end{array}\right]$$，即 ${\mathbf{A}}^H$ 为对 $\mathbf{A}$ 转置后再取其复共轭。

对于实向量，${\mathbf{x}}^T\mathbf{x}=||\mathbf{x}|{|}^2$ ，对于复向量， ${\mathbf{z}}^H\mathbf{z}=||\mathbf{z}|{|}^2$ 。考虑 ${\mathbf{x}}^T\mathbf{x}$ 就是 $\mathbf{x}$ 和其自身的内积，我们定义复向量 $\mathbf{u}$ 和 $\mathbf{v}$ 的内积为 ${\mathbf{u}}^H\mathbf{v}$，即$${\mathbf{u}}^H\mathbf{v}=[u_1^{\ast },u_2^{\ast },\cdots ,u_n^{\ast }]\left[\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_n\end{array}\right]=u_1^{\ast }{v}_1+u_2^{\ast }{v}_2+\cdots +u_n^{\ast }{v}_n$$ 请注意，对于复向量，${\mathbf{u}}^H\mathbf{v}$ 和 ${\mathbf{v}}^H\mathbf{u}$ 是不等价的。事实上，${\mathbf{v}}^H\mathbf{u}$ 是 ${\mathbf{u}}^H\mathbf{v}$ 的复共轭。

方阵对角化
设 $n$ 维方阵 $\mathbf{A}$ 有 $n$ 个线性独立的特征向量 ${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}$，现在将这些特征向量作为特征矩阵 $\mathbf{X}$ 的列向量，那么 ${\mathbf{X}}^{-1}\mathbf{A}\mathbf{X}$ 即是特征值矩阵 $\mathbf{\Lambda }$ 。即 $${\mathbf{X}}^{-1}\mathbf{A}\mathbf{X}=\mathbf{\Lambda }=\left[\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right]$$

正交基
我们说列向量 $q_1,q_2,\dots ,q_n$ 是正交的，如果$$q_i^T{q}_j=\{\begin{array}{ll}0,& \text{for i=j}\\ 1,& \text{for i=j}\end{array}$$ 列向量 $q_1,q_2,\dots ,q_n$ 组成的矩阵 $\mathbf{Q}$ 有如下性质 $${\mathbf{Q}}^T\mathbf{Q}=\mathbf{I},\text{ which means}{\mathbf{Q}}^T={\mathbf{Q}}^{-1}$$

厄米特矩阵
实对称矩阵 $\mathbf{S}$ 可以写成 $\mathbf{S}={\mathbf{Q}\mathbf{\Lambda }\mathbf{Q}}^{-1}$ 的形式，且 ${\mathbf{S}}^T=\mathbf{S}$。复对称矩阵 $\mathbf{S}$，则有 ${\mathbf{S}}^H=\mathbf{S}$ 。当 ${\mathbf{S}}^H=\mathbf{S}$ 时，我们称矩阵 $\mathbf{S}$ 为厄米特矩阵（Hermitian Matrix）。

如果$\mathbf{S}={\mathbf{S}}^H$，并且 $\mathbf{z}$ 为实或者复列向量，则 ${\mathbf{z}}^H\mathbf{S}\mathbf{z}$ 为实数。

每一个 Hermitian 矩阵的特征值都是实数。

Hermitian 矩阵的特征向量相互正交，即$$\begin{array}{l}\mathbf{S}\mathbf{z}=\lambda \mathbf{z}\\ \mathbf{S}\mathbf{y}=\beta \mathbf{y}\\ \lambda \ne \beta \end{array}\}⟹{\mathbf{y}}^H\mathbf{z}=0$$

瑞利定理（Rayleigh theorem）

以下参考 https://www.planetmath.org/RayleighRitzTheorem
定义瑞利商（Rayleigh quotient）为 $$R(\mathbf{A},\mathbf{x})=\frac{{\mathbf{x}}^H\mathbf{A}\mathbf{x}}{{\mathbf{x}}^H\mathbf{x}}$$ 其中，$\mathbf{x}$ 为非零向量，$\mathbf{A}$ 为 $n\times n$ Hermitian Matrix，$\mathbf{A}$ 的特征向量即是函数 $R(\mathbf{A},\mathbf{x})$ 的驻点（critical point），特征向量相对应的特征值即为函数在该驻点的值。由此，我们可知 $R(\mathbf{A},\mathbf{x})$ 的最大值等于矩阵 $\mathbf{A}$ 最大的特征值，而最小值等于矩阵 $\mathbf{A}$ 的最小的特征值，即$${\lambda }_{min}\le \frac{{\mathbf{x}}^H\mathbf{A}\mathbf{x}}{{\mathbf{x}}^H\mathbf{x}}\le {\lambda }_{max}$$ 当向量 $\mathbf{x}$ 是标准正交基时，即满足 ${\mathbf{x}}^H\mathbf{x}=1$ 时，瑞利熵为$$R(\mathbf{A},\mathbf{x})={\mathbf{x}}^H\mathbf{A}\mathbf{x}$$

证明

首先，根据 Hermitian Matrix 性质，${\mathbf{x}}^H\mathbf{A}\mathbf{x}$ 为实数，${\mathbf{x}}^H\mathbf{x}$ 显然是实数，因而 $R(\mathbf{A},\mathbf{x})$ 为实数。

现在求 $R(\mathbf{A},\mathbf{x})$ 的驻点 $\overline{\mathbf{x}}$，我们将瑞利熵简写为 $R(\mathbf{x})$，即求解方程$$\frac{dR(\overline{\mathbf{x}})}{d\mathbf{x}}=0^T$$ 令 $$\mathbf{x}={\mathbf{x}}^R+i{\mathbf{x}}^I$$ ${\mathbf{x}}^R$ 和 ${\mathbf{x}}^I$ 分别是 $\mathbf{x}$ 的实部和虚部，则有 $$\frac{dR(\mathbf{x})}{d\mathbf{x}}=\frac{dR(\mathbf{x})}{d{\mathbf{x}}^R}+i\frac{dR(\mathbf{x})}{d{\mathbf{x}}^I}$$ 因此，有 $$\frac{dR(\overline{\mathbf{x}})}{d{\mathbf{x}}^R}=\frac{dR(\overline{\mathbf{x}})}{d{\mathbf{x}}^I}=0^T\text{\hspace{1em}(0)}$$ 根据微分法则 $$\begin{array}{rl}\frac{dR(\mathbf{x})}{d{\mathbf{x}}^R}& =\frac{d}{d{\mathbf{x}}^R}(\frac{{\mathbf{x}}^H\mathbf{A}\mathbf{x}}{{\mathbf{x}}^H\mathbf{x}})\\ & =\frac{\frac{d({\mathbf{x}}^H\mathbf{A}\mathbf{x})}{d{\mathbf{x}}^R}({\mathbf{x}}^H\mathbf{x})-{\mathbf{x}}^H\mathbf{A}\mathbf{x}\frac{d({\mathbf{x}}^H\mathbf{x})}{d{\mathbf{x}}^R}}{({\mathbf{x}}^H\mathbf{x}{)}^2}\\ & =\frac{\frac{d({\mathbf{x}}^H\mathbf{A}\mathbf{x})}{d{\mathbf{x}}^R}-R(\mathbf{x})\frac{d({\mathbf{x}}^H\mathbf{x})}{d{\mathbf{x}}^R}}{{\mathbf{x}}^H\mathbf{x}}\end{array}\text{\hspace{1em}(1)}$$ 根据矩阵微分法则 $$\begin{array}{rl}\frac{d({\mathbf{x}}^H\mathbf{A}\mathbf{x})}{d{\mathbf{x}}^R}& ={\mathbf{x}}^H\mathbf{A}\frac{d\mathbf{x}}{d{\mathbf{x}}^R}+{\mathbf{x}}^T{\mathbf{A}}^T\frac{d{\mathbf{x}}^{\ast }}{d{\mathbf{x}}^R}\\ & \\ & ={\mathbf{x}}^H\mathbf{A}+{\mathbf{x}}^T{\mathbf{A}}^T\\ & ={\mathbf{x}}^H\mathbf{A}+({\mathbf{x}}^H{\mathbf{A}}^H{)}^{\ast }\end{array}$$ 又因为 $\mathbf{A}={\mathbf{A}}^H$，所以上式变为 $${\mathbf{x}}^H\mathbf{A}+({\mathbf{x}}^H\mathbf{A}{)}^{\ast }=2({\mathbf{x}}^H\mathbf{A}{)}^R\text{\hspace{1em}(2)}$$ （注：矩阵微分参考手册 http://www.ee.ic.ac.uk/hp/staff/dmb/matrix/calculus.html ）
类似的，我们可以得到 $$\frac{d({\mathbf{x}}^H\mathbf{x})}{d{\mathbf{x}}^R}=2({\mathbf{x}}^H{)}^R\text{\hspace{1em}(3)}$$ 将 $(2)、(3)$ 代入 $(1)$ 得 $$\frac{dR(\mathbf{x})}{d{\mathbf{x}}^R}=2\frac{({\mathbf{x}}^H\mathbf{A}{)}^R-R(\mathbf{x})({\mathbf{x}}^H{)}^R}{{\mathbf{x}}^H\mathbf{x}}$$ 根据 $(0)$ 式，我们有 $$0^T=({\overline{\mathbf{x}}}^H\mathbf{A}{)}^R-R(\overline{\mathbf{x}})({\overline{\mathbf{x}}}^H{)}^R$$ 即 $$\begin{array}{rl}0& =(({\overline{\mathbf{x}}}^H\mathbf{A}{)}^R-R(\overline{\mathbf{x}})({\overline{\mathbf{x}}}^H{)}^R{)}^T\\ & =({\mathbf{A}}^T{\overline{\mathbf{x}}}^{\ast }{)}^R-R(\overline{\mathbf{x}})({\overline{\mathbf{x}}}^{\ast }{)}^R\\ & =(({\mathbf{A}}^H\overline{\mathbf{x}}{)}^{\ast }{)}^R-R(\overline{\mathbf{x}})({\overline{\mathbf{x}}}^{\ast }{)}^R\\ & =((\mathbf{A}\overline{\mathbf{x}}{)}^{\ast }{)}^R-R(\overline{\mathbf{x}})({\overline{\mathbf{x}}}^{\ast }{)}^R\\ & =((\mathbf{A}\overline{\mathbf{x}}){)}^R-R(\overline{\mathbf{x}})(\overline{\mathbf{x}}{)}^R\end{array}$$ 由于 $R(\mathbf{x})$ 为实数，因此 $$0=(\mathbf{A}\overline{\mathbf{x}}-R(\overline{\mathbf{x}})\overline{\mathbf{x}}{)}^R\text{\hspace{1em}(I)}$$ 接下来看 $dR(\mathbf{x})/d{\mathbf{x}}^I$ 根据微分法则 $$\begin{array}{rl}\frac{dR(\mathbf{x})}{d{\mathbf{x}}^I}& =\frac{d}{d{\mathbf{x}}^I}(\frac{{\mathbf{x}}^H\mathbf{A}\mathbf{x}}{{\mathbf{x}}^H\mathbf{x}})\\ & =\frac{\frac{d({\mathbf{x}}^H\mathbf{A}\mathbf{x})}{d{\mathbf{x}}^I}({\mathbf{x}}^H\mathbf{x})-{\mathbf{x}}^H\mathbf{A}\mathbf{x}\frac{d({\mathbf{x}}^H\mathbf{x})}{d{\mathbf{x}}^I}}{({\mathbf{x}}^H\mathbf{x}{)}^2}\\ & =\frac{\frac{d({\mathbf{x}}^H\mathbf{A}\mathbf{x})}{d{\mathbf{x}}^I}-R(\mathbf{x})\frac{d({\mathbf{x}}^H\mathbf{x})}{d{\mathbf{x}}^I}}{{\mathbf{x}}^H\mathbf{x}}\end{array}\text{\hspace{1em}(4)}$$ 根据矩阵微分法则 $$\begin{array}{rl}\frac{d({\mathbf{x}}^H\mathbf{A}\mathbf{x})}{d{\mathbf{x}}^I}& ={\mathbf{x}}^H\mathbf{A}\frac{d\mathbf{x}}{d{\mathbf{x}}^I}+{\mathbf{x}}^T{\mathbf{A}}^T\frac{d{\mathbf{x}}^{\ast }}{d{\mathbf{x}}^I}\\ & \\ & =i{\mathbf{x}}^H\mathbf{A}-i{\mathbf{x}}^T{\mathbf{A}}^T\\ & =i{\mathbf{x}}^H\mathbf{A}-({\mathbf{x}}^H{\mathbf{A}}^H{)}^{\ast }\end{array}$$ 因为 $\mathbf{A}={\mathbf{A}}^H$，我们有 $$\frac{d({\mathbf{x}}^H\mathbf{A}\mathbf{x})}{d{\mathbf{x}}^I}=i({\mathbf{x}}^H\mathbf{A}-({\mathbf{x}}^H\mathbf{A}{)}^{\ast })=i(2i({\mathbf{x}}^H\mathbf{A}{)}^I)=-2({\mathbf{x}}^H\mathbf{A}{)}^I\text{\hspace{1em}(5)}$$ 类似的，我们有 $$\frac{d({\mathbf{x}}^H\mathbf{x})}{d{\mathbf{x}}^I}=i{\mathbf{x}}^H-i{\mathbf{x}}^T=i({\mathbf{x}}^H-({\mathbf{x}}^H{)}^{\ast })=i(2i({\mathbf{x}}^H{)}^I)=-2({\mathbf{x}}^H{)}^I\text{\hspace{1em}(6)}$$ 将 $(5)、(6)$ 代入 $(4)$，得 $$\frac{dR(\mathbf{x})}{d{\mathbf{x}}^I}=-2\frac{({\mathbf{x}}^H\mathbf{A}{)}^I-R(\mathbf{x})({\mathbf{x}}^H{)}^I}{{\mathbf{x}}^H\mathbf{x}}$$ 根据 $(0)$ 式，我们有 $$0^T=({\overline{\mathbf{x}}}^H\mathbf{A}{)}^I-R(\overline{\mathbf{x}})({\overline{\mathbf{x}}}^H{)}^I$$ 即 $$\begin{array}{rl}0& =(({\overline{\mathbf{x}}}^H\mathbf{A}{)}^I-R(\overline{\mathbf{x}})({\overline{\mathbf{x}}}^H{)}^I{)}^T\\ & =({\mathbf{A}}^T{\overline{\mathbf{x}}}^{\ast }{)}^I-R(\overline{\mathbf{x}})({\overline{\mathbf{x}}}^{\ast }{)}^I\\ & =(({\mathbf{A}}^H\overline{\mathbf{x}}{)}^{\ast }{)}^I-R(\overline{\mathbf{x}})({\overline{\mathbf{x}}}^{\ast }{)}^I\\ & =((\mathbf{A}\overline{\mathbf{x}}{)}^{\ast }{)}^I-R(\overline{\mathbf{x}})({\overline{\mathbf{x}}}^{\ast }{)}^I\\ & =-(\mathbf{A}\overline{\mathbf{x}}{)}^I+R(\overline{\mathbf{x}})(\overline{\mathbf{x}}{)}^I\end{array}$$ 因为 $R(\overline{\mathbf{x}})$ 为实数，所以 $$0=((\mathbf{A}\overline{\mathbf{x}})-R(\overline{\mathbf{x}})(\overline{\mathbf{x}}){)}^I\text{\hspace{1em}(II)}$$ 根据 $(I)、(II)$ 两式，可知 $$\mathbf{A}\overline{\mathbf{x}}-R(\overline{\mathbf{x}})(\overline{\mathbf{x}})=0$$ 而这正是我们要证明的。

参考资料

1. https://www.planetmath.org/RayleighRitzTheorem
2. Gilbert Strang, Introduction to Linear Algebra, Fifth Edition, 清华大学出版社