矩阵分析 (七) 矩阵特征值的估计

矩阵分析系统学习笔记

本系列所有文章来自东北大学韩志涛老师的矩阵分析课程学习笔记，系列如下：
矩阵分析 (一) 线性空间和线性变换
矩阵分析 (二) 内积空间
矩阵分析 (三) 矩阵的标准形
矩阵分析 (四)向量和矩阵的范数
矩阵分析 (五) 矩阵的分解
矩阵分析 (六) 矩阵的函数
矩阵分析 (七) 矩阵特征值的估计
矩阵分析 (八) 矩阵的直积

  矩阵特征值是矩阵的重要参数之一。从前面的讨论可以看到，把矩阵对角化或者求矩阵的约当标准形、判别矩阵的收敛，以及矩阵函数的性质都与特征值有关。当矩阵的阶数高于五次时，没有求根公式，这个时候如果能够给出特征值的位置或者给出特征值的取值范围，会对解决问题有一定的帮助。

  不具体求特征值，而是给出特征值的范围，这就是特征值估计问题。例如讨论矩阵幂级数${\sum }_{k=0}^{\infty }{C}_k{A}^k$是否收敛，只要知道矩阵$A$的谱半径是否小于幂级数${\sum }_{k=0}^{\infty }{C}_k{z}^k$的收敛半径即可。

  在自动控制理论中，系统的稳定性与特征值的实数部分的符号有关，如果实数部分为负，则系统稳定。因此通过矩阵本身的数值来给出特征值的范围就显得很重要。

特征值界的估计

  前面讲到范数时曾经有：

$$\rho (A)\le ||A||$$

  即矩阵的谱半径小于任何一个矩阵的范数，而范数可以通过矩阵本身的数值来计算，不需要解方程。

  下面给出特征值的估计。

  如果$\lambda$是$A$的特征值，$x$为特征向量，则$Ax=\lambda x$，进一步假设$x$是单位向量，则$x^{H}x=1$，两边乘以$x^H$：

$$x^{H}Ax=\lambda x^{H}x=\lambda$$

  即$\lambda$可以由$x^{H}Ax$决定，可以通过估计这个函数来估计特征值。

• 定理7.1：设$A\in C^{n\times n}$,$x\in C^n$，且$||x|{|}_2=1$，则：

$$|x^{H}Ax|\le ||A|{|}_{m_{\infty }}$$

• 推论：由$\lambda =x^{H}Ax$，得$|\lambda |\le ||A|{|}_{m_{\infty }}$。

• 定理7.2 设：

$$A\in C^{n\times n},$$

$$B=\frac{1}{2}(A+A^H)，C=\frac{1}{2}(A-A^H)$$

  则$A$的特征值$\lambda$满足：

$$|Re\lambda |\le ||B|{|}_{m_{\infty }}，|Im\lambda |\le ||C|{|}_{m_{\infty }}$$

• 推论：厄米特矩阵的特征值都是实数，反厄米特矩阵的特征值为零或者纯虚数。

• 定理7.3：(舒尔定理) 设$A\in C^{n\times n}$的特征值为${\lambda }_1$,${\lambda }_2$,$\cdots$ ${\lambda }_n$，则：

$$|{\lambda }_1{|}^2+|{\lambda }_2{|}^2+\cdots |{\lambda }_n{|}^2\le ||A|{|}_F^2$$

  且等式成立的充要条件是$A$为正规矩阵。

特征值的包含区域

  上一节给出了特征值大小的估计，这一节介绍一些判别矩阵特征值位置的方法。

Gerschgorin 盖尔圆定理

  与上一节类似，我们需要用矩阵元素给出特征值的估计。设$\lambda$为$A=(a_{ij}{)}_{n\times n}$的特征值，$x=(x_1,x_2,\cdots ,x_n{)}^T$为$A$的属于$\lambda$的特征向量，则由$Ax=\lambda x$得：

$$\sum _{j=1}^n{a}_{ij}{x}_j=\lambda x_i(i=1,2,\cdots ,n)$$

$$x_i(\lambda -a_{ii})=\sum _{j=1,j\ne i}^n{a}_{ij}{x}_j$$

$$|\lambda -a_{ii}|=|\sum a_{ij}\frac{x_j}{x_i}|\le \sum |a_{ij}||\frac{x_j}{x_i}|$$

  如果$|x_i|\ge |x_j|$，则$|\frac{x_j}{x_i}|\le 1$得：

$$|\lambda -a_{ii}|=\sum _{j=1,j\ne i}^n|a_{ij}|$$

  上述不等式在几何上是一个圆，即特征值落在一个圆中。

• 定义 设$A=(a_{ij}{)}_{n\times n}$，记：

$$R_i=\sum _{j=1,j\ne i}^n|a_{ij}|$$

  称复平面的圆域：

G i = { z ∣ ∣ z − a i i ∣ ≤ R i , z ∈ C } G_{i} = \{z||z-a_{ii}| \leq R_{i} , z \in C\} Gi​={z∣∣z−aii​∣≤Ri​,z∈C}

  为$A$的第$i$个盖尔圆，称$R_i$为盖尔圆的半径，由于：

$$x=(x_1,x_2,\cdots ,x_n)$$

  的分量中必有一个$x_i$使得$|x_i|=ma{x}_j|x_j|$，所以必有一个$i$使得：

$$|\lambda -a_{ii}|\le R_i$$

  成立，由此得到：

• 定理7.4：矩阵$A\in C^{n\times n}$的全体特征值都在它的$n$个盖尔圆构成的并集之中。

  注意到$A\in C^{n\times n}$与$A^T$的特征值相同，根据定理7.4可得，$A$的特征值也在$A^T$的$n$个盖尔圆构成的并集之中。称$A^T$的盖尔圆为$A$的列盖尔圆。

  根据盖尔圆理论，对任何矩阵$A$特征值一定满足$|\lambda -a_{ii}|\le R_i$。若$\lambda =0$，则$|a_{ii}|\le R_i$。

  从这里可以看出，若矩阵$A$严格对角占优，即$|a_{ii}|>R_i$，则：

$$\lambda \ne 0，|A|\ne 0$$

• 推论：若$A$为实矩阵$A\in R^{n\times n}$,且$A$的$n$个盖尔圆是孤立的，则$A$有$n$个互不相同的实特征值。

  $A$为实矩阵时，特征方程$|\lambda E-A|=0$为实代数方程，它的复根一定成对出现，一定是共轭的，即$a\pm ib$的形式，且$|\lambda -a_{ii}|$的形式，且$|\lambda -a_{ii}|\le R_i$中，$a_{ii}$是实数，特征值一定是实数。

特征值的隔离

  前面讲述了用盖尔圆分析特征值的方法，当矩阵$A$与$B$相似，即$B=C^{-1}AC$时，$A$与$B$有相同的特征值。利用这一个性质，可以通过改变盖尔圆的大小，分析某个特征值的位置。在这里取比较简单的$C$,可以取成对角矩阵，且对角线元素为正。

$$C=diag(c_1,c_2,\cdots ,c_n)$$

$$B=CA{C}^{-1}=(a_{ij}\frac{c_i}{c_j}{)}_{n\times n}$$

  则$A$与$B$有相同的特征值，通过适当地选取正数$c_1$，$c_2$，$\cdots$，$c_n$，有可能使每一个盖尔圆包含$A$的一个特征值。选取$c_1$，$c_2$，$\cdots$，$c_n$的一般原则是，欲使$A$的第$i$个盖尔圆缩小，可取$c_i<1$，其余取为1，此时$B$的其他盖尔圆适量放大；反之，欲使$A$的第$i$个盖尔圆放大，可取$c_i>1$，其余取为1，此时$B$的其余盖尔圆适量缩小。

我的微信公众号名称：小小何先生
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！