【矩阵论】对称矩阵特征值的性质与直积

前言

在许多实际问题中，所产生的矩阵往往都是对称矩阵，比如我们耳熟能详的实对称矩阵也是重要的研究对象。以下就从实对称矩阵的角度出发，利用特征值的极小极大原理，从普通特征值问题$Ax=\lambda x$衍生到广义特征值问题$Ax=\lambda Bx$逐步讨论其特征值的性质。

【广义特征值问题】设$A=(a_{ij})\in {\mathbb{R}}^{n\times n}$是$n$阶实对称矩阵，$B=(b_{ij})\in {\mathbb{R}}^{n\times n}$是$n$阶实对称正定矩阵，使下式 $$\mathbf{A}\mathbf{x}=\lambda \mathbf{B}\mathbf{x}$$ 有非零解向量$x\in {\mathbb{R}}^n$，则称$\lambda$是矩阵$A$相对于矩阵$B$的特征值，且$x$是属于$\lambda$的特征向量。该问题常见于振动理论。

我们可以发现

• 当$B\ne I$时，该问题是广义特征值问题
• 当$B=I$时，该问题是普通特征值问题

思路：如何利用极小极大原理求第$k$个特征值及奇异值？

利用极大极小原理，我们先确定$n$阶实对称阵的最大最小特征值，然后逐步求第2大和第2小特征值进而归纳到求第$k$大和第$k$小特征值。

本文就对称矩阵特征值的极性与直积做以梳理，完整定理证明请参考西工大的《矩阵论》[1]。

一、实对称矩阵的瑞利商与广义瑞利商性质

我们在讨论实对称矩阵的特征值时，往往会通过实对称阵的瑞利商来研究，因为瑞利商是由如下特征值问题推导出来的，它可以直接求出矩阵的特征值。
$$Ax=\lambda x\Rightarrow x^{T}Ax=\lambda x^{T}x\Rightarrow \lambda =\frac{x^{T}Ax}{x^{T}x}=R(x)$$

【瑞利商定义】设$A=(a_{ij})\in {\mathbb{R}}^{n\times n}$是$n$阶实对称矩阵，$x\in {\mathbb{R}}^n$，则称下式为矩阵$A$的瑞利商($\text{Rayleigh}$商) $$\mathbf{R}(\mathbf{x})=\frac{{\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x}}{{\mathbf{x}}^{\mathbf{T}}\mathbf{x}}(x\ne 0)$$

【广义瑞利商定义】设$A=(a_{ij})\in {\mathbb{R}}^{n\times n},B=(b_{ij})\in {\mathbb{R}}^{n\times n}$均是$n$阶实对称矩阵，且$B$正定，$x\in {\mathbb{R}}^n$，则称下式为矩阵$A$相对于矩阵$B$的广义瑞利商$$\mathbf{R}(\mathbf{x})=\frac{{\mathbf{x}}^{\mathbf{T}}\mathbf{A}\mathbf{x}}{{\mathbf{x}}^{\mathbf{T}}\mathbf{B}\mathbf{x}}(x\ne 0)$$

• 【性质1】：$R(x)$是$x$的连续函数
• 【性质2】：$R(x)$是$x$的零次齐次函数（齐次性$R(kx)=R(x)$）
  事实上，对于任意实数$\lambda \ne 0$有下式分别满足齐次性和零次
  $$R(\lambda x)=R(x)={\lambda }^{0}R(x)$$
• 【性质3】：当$x$是由$x_0\ne 0$张成的空间时，$R(x)$是一常数
• 【性质4】：$R(x)$的最大最小值存在，且能够在单位球面 S = { x ∣ x ∈ R n , ∥ x ∥ 2 = 1 } S=\{x|x\in \mathbb{R}^n,\|x\|_2=1\} S={x∣x∈Rn,∥x∥2​=1}上达到
• 【性质5】：非零向量$x_0$是$R(x)$的驻点$\iff x_0$是$Ax=\lambda Bx$的特征向量，当$B=I$时对应于瑞利商问题同理，通过矩阵求导可得

一般情况下，我们令实对称矩阵$A$的特征值按从小到大顺序排列如下
$${\lambda }_1\le {\lambda }_2\le ...\le {\lambda }_n$$
对应标准正交特征向量系为$p_1,p_2,...,p_n$。

【定理】设$A=(a_{ij})\in {\mathbb{R}}^{n\times n}$是$n$阶实对称矩阵，则有 $$\underset{\mathbf{x}\ne 0}{\min }\mathbf{R}(\mathbf{x})={\lambda }_1,\underset{\mathbf{x}\ne 0}{\max }\mathbf{R}(\mathbf{x})={\lambda }_{\mathbf{n}},{\lambda }_1\le \mathbf{R}(\mathbf{x})\le {\lambda }_{\mathbf{n}}$$

【证明】任取$0\ne x\in {\mathbb{R}}^n$，则有
$$x=c_1{p}_1+c_2{p}_2+...+c_n{p}_n(c_1^2+c_2^2+...+c_n^2\ne 0)$$
由于$p_1,p_2,...,p_n$是正交特征向量系，所以有$x_i=c_i{p}_i$
于是有
$$\begin{array}{rl}Ax& =\lambda x={\lambda }_1{c}_1{p}_1+{\lambda }_2{c}_2{p}_2+...+{\lambda }_n{c}_n{p}_n\\ x^{T}Ax& =c_1^2{\lambda }_1+c_2^2{\lambda }_2+...+c_n^2{\lambda }_n\\ x^{T}x& =c_1^2+c_2^2+...+c_n^2\end{array}$$
令$k_i=\frac{c_i^2}{c_1^2+c_2^2+...+c_n^2}$，其中$k_1+k_2+...+k_n=1$，则有
$$R(x)=\frac{x^{T}Ax}{x^{T}x}=k_1{\lambda }_1+k_2{\lambda }_2+...+k_n{\lambda }_n$$
简单起见，假设$A$是$2$阶实对称阵，即仅有两个特征值${\lambda }_1,{\lambda }_2$满足$R(x)=k_1{\lambda }_1+k_2{\lambda }_2(k_1+k_2=1)$，则如下图所示

从上图，我们可以清晰的看出$R(x)$是$x$的连续函数，该集合也被称为凸包，由此可得
$${\lambda }_1\le R(x)\le {\lambda }_n$$
可以通过如下式子验证$R(p_1)={\lambda }_1$
$$R(p_i)=\frac{p_i^{T}A{p}_i}{p_i^T{p}_i}={\lambda }_i$$
有了$p_k$或$x_k$，我们可以直接求得第$k$小特征值${\lambda }_k$。但问题来了，如果我们不知道$p_k$或者不想依赖于$x_k$，我们如何求得第$k$小特征值${\lambda }_k$呢？这就需要下面一章的极小极大原理了。

【重要推论】若${\lambda }_1=...={\lambda }_k(1\le k\le n)$，则在$\Vert x{\Vert }_2=1$上，$R(x)$的所有极小点为 $${\mathbf{l}}_1{\mathbf{p}}_1+{\mathbf{l}}_2{\mathbf{p}}_2+...+{\mathbf{l}}_{\mathbf{k}}{\mathbf{p}}_{\mathbf{k}}$$ 其中，$l_i\in R(i=1,...,k)$，且满足$l_1^2+l_1^2+..+l_k^2=1$.

二、普通与广义特征值的极小极大原理

由上章，我们得到几个工具，令 V n = span { x 1 , x 2 , . . . , x n }    ( λ 1 ≤ λ 2 ≤ . . . ≤ λ n ) V_n=\text{span}\{x_1,x_2,...,x_n\}\;(\lambda_1 \le \lambda_2 \le... \le \lambda_n ) Vn​=span{x1​,x2​,...,xn​}(λ1​≤λ2​≤...≤λn​)则有
$$R(x)=\frac{x^{T}Ax}{x^{T}x}=k_1{\lambda }_1+k_2{\lambda }_2+...+k_n{\lambda }_n$$
$${\lambda }_1\le R(x)\le {\lambda }_n\Rightarrow \{\begin{array}{l}{\min }_{x\ne 0,x\in V_n}R(x)={\lambda }_1\\ {\max }_{x\ne 0,x\in V_n}R(x)={\lambda }_n\end{array}$$
当我们想求${\lambda }_2,{\lambda }_{n-1}$时，可以通过缩小张成的子空间得到
$$\begin{gathered} \begin{array}{rl}{\lambda }_2=\underset{x\ne 0}{\min }& R(x)=k_1{\lambda }_1+k_2{\lambda }_2+...+k_n{\lambda }_n\\ s.t.& k_1=0\end{array} \\ ⋮ \\ \begin{array}{rl}{\lambda }_i=\underset{x\ne 0}{\min }& R(x)=k_1{\lambda }_1+k_2{\lambda }_2+...+k_n{\lambda }_n\\ s.t.& k_1=k_2=...=k_{i-1}=0\end{array} \end{gathered}$$
同理得
$$\begin{gathered} \begin{array}{rl}{\lambda }_{n-1}=\underset{x\ne 0}{\max }& R(x)=k_1{\lambda }_1+k_2{\lambda }_2+...+k_n{\lambda }_n\\ s.t.& k_n=0\end{array} \\ ⋮ \\ \begin{array}{rl}{\lambda }_{n-i-1}=\underset{x\ne 0}{\min }& R(x)=k_1{\lambda }_1+k_2{\lambda }_2+...+k_n{\lambda }_n\\ s.t.& k_n=k_{n-1}=...=k_{n-i}=0\end{array} \end{gathered}$$
因此，我们可以归纳出如下定理

【定理】设$x\in L(p_r,p_{r+1},...,p_s),1\le r\le s\le n$，则有 $$\underset{\mathbf{x}\ne 0}{\min }\mathbf{R}(\mathbf{x})={\lambda }_{\mathbf{r}}\underset{\mathbf{x}\ne 0}{\max }\mathbf{R}(\mathbf{x})={\lambda }_{\mathbf{s}}$$

2.1 引出问题：由于$V_k$不唯一导致得到多个特征值

但以上定理在$p_r,p_s$未知下无法使用，因此我们不再指定让某个系数$k_i=0$，而是选取$k$维子空间$V_k$来求，由于$V_k$是不唯一的，因此可能会得到多个特征值，例如我们想要得到${\lambda }_2$，则选取$V_{n-1}$，有如下两种情况

$$\underset{x\ne 0}{\min }R(x)=\{\begin{array}{l}{\lambda }_1\text{if}{x}_1\in V_{n-1}\\ {\lambda }_2\text{if}{x}_1\notin V_{n-1}\end{array}$$
$$\underset{x\ne 0}{\max }R(x)=\{\begin{array}{l}{\lambda }_n\text{if}{x}_n\in V_{n-1}\\ {\lambda }_{n-1}\text{if}{x}_n\notin V_{n-1}\end{array}$$

2.2 解决问题：使用极大极小原理固定特征向量

对于上述子空间$V_k$不唯一情况，得到
$$\underset{0\ne x\in V_{n-1}}{\min }R(x)\le {\lambda }_2\underset{0\ne x\in V_{n-1}}{\max }R(x)\ge {\lambda }_{n-1}$$
为解决此问题，我们使用极小极大原理得到
$${\lambda }_2=\underset{V_{n-1}}{\max }\left[\underset{0\ne x\in V_{n-1}}{\min }R(x)\right],{\lambda }_{n-1}=\underset{V_{n-1}}{\min }\left[\underset{0\ne x\in V_{n-1}}{\max }R(x)\right]$$
为此，我们归纳出一般的式子，我们

【定理】设$V_k$是${\mathbb{R}}^n$中的任意一个$k$维子空间，则普通特征值问题与广义特征值问题从小到大的第$k$个特征值和$n-(k-1)$个特征值具有如下极小极大性质
$${\lambda }_{\mathbf{n}-(\mathbf{k}-1)}=\underset{{\mathbf{V}}_{\mathbf{k}}}{\max }\left[\underset{0\ne \mathbf{x}\in {\mathbf{V}}_{\mathbf{k}}}{\min }\mathbf{R}(\mathbf{x})\right],{\lambda }_{\mathbf{k}}=\underset{{\mathbf{V}}_{\mathbf{k}}}{\min }\left[\underset{0\ne \mathbf{x}\in {\mathbf{V}}_{\mathbf{k}}}{\max }\mathbf{R}(\mathbf{x})\right]$$

• 左式被称为特征值的极大极小原理
• 右式被称为特征值的极小极大原理

三、矩阵奇异值的极小极大性质

我们通过矩阵瑞利商的极小极大原理，可以衍生到解决奇异值问题，我们将矩阵$A\in {\mathbb{R}}_r^{m\times n}$的奇异值排列如下 [其中，${\sigma }_i=\sqrt{{\lambda }_i(A^{T}A)}$]
$$0={\sigma }_1={\sigma }_2=...={\sigma }_{n-r}\le {\sigma }_{n-r+1}\le ...\le {\sigma }_n$$

我们令$B=A^{T}A$，则实对称矩阵$B$的瑞利商如下
$$R(x)=\frac{x^{T}Bx}{x^{T}x}=\frac{x^T(A^{T}A)x}{x^{T}x}=\frac{(Ax{)}^{T}Ax}{x^{T}x}=\frac{\Vert Ax{\Vert }_2^2}{\Vert x{\Vert }_2^2}=\lambda =\sqrt{\sigma }$$
则矩阵$A$的第$k$个奇异值和第$n-k+1$个奇异值具有如下极小极大性质
$${\sigma }_{n-(k-1)}=\underset{V_k}{\max }\left[\underset{0\ne x\in V_k}{\min }\frac{\Vert Ax{\Vert }_2}{\Vert x{\Vert }_2}\right],{\sigma }_k=\underset{V_k}{\min }\left[\underset{0\ne x\in V_k}{\max }\frac{\Vert Ax{\Vert }_2}{\Vert x{\Vert }_2}\right]$$
其中，$V_k$是${\mathbb{R}}^n$中的任意一个$k$维子空间。

附录：矩阵直积($\text{Kronecker}$积)的概念

运用矩阵的直积运算，能够将线性矩阵方程转换为线性代数方程组进行求解

【定义】设$A=(a_{ij})\in {\mathbb{C}}^{m\times n},B=(b_{ij})\in {\mathbb{C}}^{p\times q}$，则称如下分块矩阵为$A$与$B$的直积($\text{Kronecker}$积)

参考文献

程云鹏, 凯院, 仲. 矩阵论[M]. 西北工业大学出版社, 2006.