数值分析复习笔记-第八章-特征值

Chapter8 矩阵特征值与特征向量的计算

7.1 前言

1. 一般求法：
   • 先由$|A-\lambda E|=0$求特征值$\lambda$
   • 再有$(A-\lambda E)x=0$求特征向量$x$
2. 对阶数特别多的矩阵A难以求行列式，这个时候就需要数值解法来求矩阵的特征值
3. 方法：
   • 乘幂法：求主特征值
   • 反幂法：求最小的特征值

7.2 乘幂法

7.2.1 特点

1. 求主特征值和特征向量
2. 假设，对实数矩阵A：
   • 其有n个线性无关的特征向量$x^{(i)},i=1,2,\cdots ,n$
   • $A{x}^{(i)}={\lambda }_i{x}^{(i)}$，其中${\lambda }_i$是实特征值且满足$|{\lambda }_1|>|{\lambda }_2|\ge \cdots \ge |{\lambda }_n|>0$
3. 优点：算法简单，易于实现，对于高阶稀疏矩阵较为合适
4. 缺点：收敛速度依赖于$|\frac{{\lambda }_2}{{\lambda }_1}{|}^k$，越小越快

7.2.2 原始乘幂法

1. 基本步骤：
   • 任取非0列向量$v^{(0)}$
   • $v^{(1)}=A{v}^{(0)}\to \cdots \to v^{(k+1)}=A{v}^{(k)}$
   • $v^{(k+1)}=A{v}^{(k)}\approx {\lambda }_1{v}^{(k)}$
   • ${\lambda }_1\approx \frac{v^{(k+1)}}{v^{(k)}}$
2. 证明：由归纳法，提出最大特征值${\lambda }_1$，其余项趋近于0

选定初始列向量$v^{(0)}$，由于特征向量线性无关
$$v^{(0)}=\sum _{i=1}^n{\alpha }_i{x}^{(i)}={\alpha }_1{x}^{(1)}+{\alpha }_2{x}^{(2)}+\cdots +{\alpha }_n{x}^{(n)}$$
通过迭代关系$v^{(1)}=A{v}^{(0)}$和特征向量定义式$A{x}^{(i)}={\lambda }_i{x}^{(i)}$
$$v^{(1)}=A{v}^{(0)}=\sum _{i=1}^n{\alpha }_{i}A{x}^{(i)}=\sum _{i=1}^n{\alpha }_i{\lambda }_i{x}^{(i)}$$
由归纳法，提出最大特征值$|{\lambda }_1|$
$$v^{(k)}=A{v}^{(k-1)}={\lambda }_1^k({\alpha }_1{x}^{(1)}+{\alpha }_2\frac{{\lambda }_2^k}{{\lambda }_1^k}{x}^{(2)}+\cdots +{\alpha }_n\frac{{\lambda }_n^k}{{\lambda }_1^k}{x}^{(n)})$$
当k充分大时，$(\frac{{\lambda }_i}{{\lambda }_1}{)}^k$全部趋近于0
$$v^{(k)}={\lambda }_1^k{\alpha }_1{x}^{(1)}$$
$$v^{(k+1)}={\lambda }_1^{k+1}{\alpha }_1{x}^{(1)}={\lambda }_1{v}^{(k)}$$

3. 特点：主特征向量每迭代一次要乘以一个$\lambda$
   • $|{\lambda }_1|>1$，主特征向量上溢->数值特别大
   • $|{\lambda }_1|<1$，主特征向量下溢->数值趋近于0
   • 因此，提出如下改进乘幂法

7.2.3 改进乘幂法

1. 本质：为了解决乘幂法数值上溢or下溢问题
2. 特殊操作：向量规范化
   • 将向量所有元素除以模最大分量
   • $$u^{(k)}=\frac{v^{(k)}}{max[v^{(k)}]}$$
   • 例子：v=(3,4,-10);max_v=|-10|=10;u=(3/10,4/10,-1)
3. 步骤
   • 任取非0列向量$v^{(0)}$，并计算规范向量$u^{(0)}=\frac{v^{(0)}}{max[v^{(0)}]}$
   • 计算$v^{(k+1)}=A{u}^{(k)}$
   • 直到$|{\lambda }_{k+1}-{\lambda }_k|<\epsilon$
   • 输出${\lambda }_1=max[|v^{(k+1)}|]$，特征向量$u^{(k+1)}=u^{(k)}$
4. 证明：主要证明u和v两个列向量的关系，最后可以得出${\lambda }_1=max[|v^{(k+1)}|]$的结论

由定义可得：
$$u^{(0)}=\frac{{\alpha }_1{x}^{(1)}+{\alpha }_2{x}^{(2)}+\cdots +{\alpha }_n{x}^{(n)}}{max[{\alpha }_1{x}^{(1)}+{\alpha }_2{x}^{(2)}+\cdots +{\alpha }_n{x}^{(n)}]}$$
推导为k次迭代时：
$$u^{(k)}=\frac{{\alpha }_1{\lambda }_1^k{x}^{(1)}+{\alpha }_2{\lambda }_2^k{x}^{(2)}+\cdots +{\alpha }_n{\lambda }_n^k{x}^{(n)}}{max[{\alpha }_1{\lambda }_1^k{x}^{(1)}+{\alpha }_2{\lambda }_2^k{x}^{(2)}+\cdots +{\alpha }_n{\lambda }_n^k{x}^{(n)}]}$$
由归纳法，提出最大特征值$|{\lambda }_1|$
$$u^{(k)}=\frac{{\lambda }_1^k({\alpha }_1{x}^{(1)}+{\alpha }_2\frac{{\lambda }_2^k}{{\lambda }_1^k}{x}^{(2)}+\cdots +{\alpha }_n\frac{{\lambda }_n^k}{{\lambda }_1^k}{x}^{(n)})}{max[{\lambda }_1^k({\alpha }_1{x}^{(1)}+{\alpha }_2\frac{{\lambda }_2^k}{{\lambda }_1^k}{x}^{(2)}+\cdots +{\alpha }_n\frac{{\lambda }_n^k}{{\lambda }_1^k}{x}^{(n)})]}=\frac{{\alpha }_1{x}^{(1)}+{\alpha }_2\frac{{\lambda }_2^k}{{\lambda }_1^k}{x}^{(2)}+\cdots +{\alpha }_n\frac{{\lambda }_n^k}{{\lambda }_1^k}{x}^{(n)}}{max[{\alpha }_1{x}^{(1)}+{\alpha }_2\frac{{\lambda }_2^k}{{\lambda }_1^k}{x}^{(2)}+\cdots +{\alpha }_n\frac{{\lambda }_n^k}{{\lambda }_1^k}{x}^{(n)}]}$$
当k充分大时，$(\frac{{\lambda }_i}{{\lambda }_1}{)}^k$全部趋近于0，u向量也全部收敛
$$u^{(k)}=\frac{x^{(1)}}{max[x^{(1)}]}\to u^{(k+1)}=u^{(k)}$$
由迭代关系式$v^{(k+1)}=A{u}^{(k)}$和特征向量定义式$A{x}^{(i)}={\lambda }_i{x}^{(i)}$
$$v^{(k+1)}=A{u}^{(k)}=\frac{A{x}^{(1)}}{max[x^{(1)}]}=\frac{{\lambda }_1{x}^{(1)}}{max[x^{(1)}]}={\lambda }_1{u}^{(k)}$$
最终：
$$u^{(k+1)}=\frac{v^{(k+1)}}{max[v^{(k+1)}]}=\frac{{\lambda }_1{u}^{(k)}}{max[v^{(k+1)}]}$$
由$u^{(k+1)}=u^{(k)}$:
$$max[v^{(k+1)}]={\lambda }_1$$

5. 一道例题：计算矩阵[3 -4 3;-4 6 3;3 3 1]的最大特征值和对应的特征向量

clc,clear all;
A=[3 -4 3;-4 6 3;3 3 1];
v0=[1 1 1]';
l0=max(abs(v0));
u0=v0./l0;

% calculate
l=l0;lold=inf;v=v0;u=u0;
while abs(l-lold) >1e-4
    lold=l;
    v=A*u;
    l=max(abs(v));
    u=v./l;
end
l,u

7.3 反幂法

7.3.1 特点

1. 用于计算按模最小特征值及其对应特征向量的迭代方法
2. 本质：原来是求A的最大特征值，现在是求A逆的最大特征值
3. 特点：
   $$Ax=\lambda x\to A^{-1}Ax=Ix=\lambda A^{-1}x\to A^{-1}x=\frac{1}{\lambda }x$$

7.3.2 步骤

1. 任取非0列向量$v^{(0)}$，并计算规范向量$u^{(0)}=\frac{v^{(0)}}{max[v^{(0)}]}$
2. 计算$A{v}^{(k+1)}=u^{(k)}$ 等价于 $v^{(k+1)}=A^{-1}{u}^{(k)}$
3. 直到$|{\lambda }_{k+1}^{-1}-{\lambda }_k^{-1}|<\epsilon$
4. 输出${\lambda }_{k+1}^{-1}=max[|v^{(k+1)}|{]}^{-1}$，特征向量$u^{(k+1)}=u^{(k)}$

7.3.3 带原点平移的反幂法

最后计算的特征值一定记得加p

1. 本质：现在已知矩阵A有一个（粗略的、大概的、不真实的）特征值p，想求距离p最近的这个特征值
2. 假设：
   • 数p是矩阵A的第i个特征值${\lambda }_i$的近似
   • 满足$0<|{\lambda }_i-p|<|{\lambda }_j-p|,j\ne i$
3. 通过平移，矩阵B=A-pI满足反幂法所要求的假设，特征值转换为$\mu ={\lambda }_j-p$,此时μ为最小的特征值，采用反幂法即可.
   $$(A-pI)x=Ax-px=\lambda x-px=(\lambda -p)x$$
4. 步骤
   • 任取非0列向量$v^{(0)}$，并计算规范向量$u^{(0)}=\frac{v^{(0)}}{max[v^{(0)}]}$
   • 计算$(A-pI)v^{(k+1)}=u^{(k)}$
   • 直到$|{\lambda }_{k+1}^{-1}-{\lambda }_k^{-1}|<\epsilon$
   • 输出${\lambda }_{k+1}^{-1}+p$，特征向量$u^{(k+1)}=u^{(k)}$
5. 例题一道

clc,clear all;
A=[6 2 1; 2 3 1;1 1 1];
p=6;
A=A-p*eye(3);
v0=[1 1 1]';
l0=max(abs(v0));
u0=v0./l0;

% calculate
l=l0;lold=inf;v=v0;u=u0;
while abs(1/l-1/lold) >1e-4
    lold=l;
    v=A\u;
    l=max(abs(v));
    u=v./l;
end
1/l+p,u