矩阵特征值估计

特征值的相关理论

矩阵的特征值与特征向量的定义由于是代数最基本的知识，在此暂且不介绍了，不太清楚的可以查询一下低阶代数课程。

一、矩阵特征值的估计1——矩阵特征值在复平面上的分布

定义

Gerschgorin圆盘：设 A=(aij)n×n 为实方阵，则称复平面上以 aii 为中心， 以ri=∑j=1,j≠in|ai,j| 为半径的 n 个圆盘称为Gerschgorin圆盘。

定理

Gerschgorin圆盘与特征值的关系

设 A=(aij)n×n 为实方阵，则

（1） A 的任一特征值必须落在 A 的某个Gerschgorin圆盘之中。

（2）如果 A 的 k 个Gerschgorin圆盘的并集 S 与其他圆盘不相连，则 S 内恰包含 A 的 k 个特征值。

二、矩阵特征值的估计2——雷利商

定义

Rayleigh商：设 A=(aij)n×n 为实方阵，非零向量 x=(x1,x2,...xn)T∈Rn ,则称 R(x)=(Ax,x)(x,x)=xTAxxTx 为矩阵 A 关于向量 x 的Rayleigh商。

定理

其特征值排列次序为 λ1≥λ2≥...≥λn ，则 ，λ1=maxx∈Rn,x≠0R(x)，λn=minx∈Rn,x≠0R(x)

【因此Rayleigh商的最大最小值分别对应着特征值的最大最小值】

三、扰动对矩阵特征值的影响

定理

Bauer-Fike定理：设 n 阶方阵 A 可对角化，矩阵 P 使得 P−1AP=diag(λ1,λ2,...λn)

则 A 经过扰动后的矩阵 A+E 的特征值有如下估计 min1≤i≤n|μ−λi|≤||P−1||p||P||p||E||p

其中 ||⋅||p 为矩阵的 p 范数 (p=1,2,∞)

---

乘幂法与反乘幂法

一、乘幂法

1.用途：

乘幂法是一种计算矩阵按模最大特征值及其对应特征向量的迭代法，特别适合求解大型稀疏矩阵。

2.乘幂法前提条件：

对 n 阶实方阵 A ，假设它具有一个线性无关的特征向量系 x1,x2,...,xn ，相应的特征值分别为 λ1,λ2,...,λn ,主特征值 λ1 满足条件 |λ1|>|λ2|≥...≥|λn|

【必须满足以上条件，乘幂法才会有效】

3.乘幂法的迭代格式

任取初始向量 z0≠0 ,构造向量序列

，，y1=Az0，m1=max(y1)，z1=y1/m1

，，y2=Az1，m2=max(y2)，z2=y2/m2

，，yk=Azk−1，mk=max(yk)，zk=yk/mk

4.迭代法的收敛性与收敛速度

收敛性

设 n 阶实方阵 A 有 n 个线性无关的特征向量，按模最大特征值 λ1 满足 |λ1|>|λ2|≥...≥|λn| ，则对于任给的初始向量 z0 ，由上面的迭代格式构造的向量序列 {zk} 和数列 {mk} 的极限分别为

(1) limk→∞zk=x1/max(x1)

(2) limk→∞mk=λ1

收敛速度

mk=λ1(1+O(|λ2λ1|k))

|λ2λ1| 越小，收敛速度越快，即 |λ1| 越大于 |λ2| ，收敛速度越快。

二、乘幂法的加速

1.何时提高收敛速度：

当 |λ2λ1|≈1 时，收敛慢。

2.加速方法1——原点平移法

通过对矩阵 A 进行平移 p 位，变为 B=A−pI ,特征值由 λ1,λ2,...,λn 变为 λ1−p,λ2−p,...,λn−p ,选择合适的 p 使得 |λ2−pλ1−p|≤|λ2λ1| ，并且保持 λ1−p 为按模最大特征值。

其中 p 一般取为 p=λ2+λn2

则问题由：求解 A 的按模最大特征值 λ1

变为：求解 B 的按模最大特征值 λ1−p

3.加速方法2——Rayleigh商加速

向量 zk 的雷利商可以更快的收敛到 λ1

定理

设 A 为 n 阶实对称方阵，特征值满足 |λ1|>|λ2|≥...≥|λn| ，则由乘幂法的迭代格式 ，，yk=Azk−1，mk=max(yk)，zk=yk/mk ，向量 zk 的Rayleigh商收敛于 λ1 ，且 (Azk,zk)(zk,zk)=λ1+O(|λ2λ1|2k)

三、反乘幂法

1.用途

计算矩阵 A 按模最小特征值及其对应特征向量的迭代法，本质是对 A−1 使用乘幂法。

2.成立条件

设 n 阶实方阵 A 非奇异，它有 n 个线性无关的特征向量 x1,x2,...xn 对应的特征值分布为 |λ1|≥|λ2|≥...>|λn|

3.迭代格式

迭代格式如下：

，，y1=A−1z0，m1=max(y1)，z1=y1/m1

，，y2=A−1z1，m2=max(y2)，z2=y2/m2

，，yk=A−1zk−1，mk=max(yk)，zk=yk/mk

4.反乘幂法的应用——求矩阵的某个特征值的近似值

原点平移法+反乘幂法

前提：知道某个特征值 λi 的近似值 λ^i

则问题由：求解矩阵 A 的与 λ^i 最接近的特征值 λi 及其特征向量 xi

变为：求解矩阵 A−λ^iI 的按模最小特征值 λ 及其特征向量 x

---

基于约化矩阵的Householder方法——QR方法的基础

任意矩阵 A 可以通过Householder矩阵 H 约化为上Hessenberg矩阵，之后通过QR方法计算上Hessenberg矩阵的特征值问题。QR方法不仅可以计算上Hessenberg矩阵，还可以计算对称三对角矩阵。

一、Householder矩阵

定义

Householder矩阵：形如 H=I−2wwT 的矩阵称为Householder矩阵，其中 I 为 n 阶单位阵， w 为 n 维实向量，且 ||w||2=wTw=1 。

定理

对任意向量 x,y∈Rn ,若 ||x||2=||y||2 ,则总存在Householder矩阵 H 使得 Hx=y 。

定理应用：将任意向量 x 约化为 ke1 形式，其中 e1=(1,0,...,0)

具体计算按下列步骤挨个计算即可得到Householder矩阵 H 与变换后的向量 x^

二、Hessenberg矩阵

定义

若方阵 A=(aij)n×n 满足条件 ，aij=0，i≥j+2 ，则称 A 为上Hessenberg矩阵。

三、约化方法

不断用 A 矩阵的部分列的Householder矩阵左右乘 A ，即 HAH ，（左右乘 H 是为了保持特征值不变），直到变为Hessenberg矩阵。即每个实方阵 A 都可以正交相似于上Hessenberg矩阵。

四、Householder矩阵的应用——矩阵的QR分解

与矩阵 A 约化为上Hessenberg矩阵方法类似，只不过只用左乘就好（因为此处与之前作用的目的不同，此处只是为了矩阵分解，之前是为了保持特征值不变）

定理

QR分解定理：设 n 阶实方阵 A 非奇异，则存在正交矩阵 Q 与上三角阵 R ，使得 A=QR ,当 R 的对角元素为正时，分解是唯一的。

---

QR方法

对于矩阵 A ，一般先将矩阵 A 约化为上Hessenberg矩阵再对这个上Hessenberg矩阵运用QR方法进行求解。如果直接用矩阵 A 进行计算，计算量将会很大。

一、QR方法的迭代格式

Ak=QkRk

，Ak+1=RkQk=QkTAkQk，k=1,2,...

二、QR方法收敛性

定理

设 n 阶实方阵 A 有如下性质：

（1）特征值满足条件： |λ1|>|λ2|>...>|λn|>0

（2） A 可表示成 A=XDX−1 ，其中 D=diag(λ1,...,λn) ,且 X−1 有LU分解 X−1=LU 。则当 k→∞ 时， Ak 的主对角线上的元素 aii(k) 收敛于 λi(i=1,2,...,n) ,主对角线左下方的元素都收敛于0，特别饿，若 A 还是对称矩阵，则 Ak 收敛于对角矩阵 D 。