特征值集合可以多项式运算
若 A A A的特征值集合是 σ ( A ) \sigma(A) σ(A),则 p ( A ) p(A) p(A)的 特征值集合是 p ( σ ( A ) ) p(\sigma(A)) p(σ(A))。 p ( A ) = k 0 I + k 1 A + k 2 A 2 + ⋯ + k − 1 A − 1 + k − 2 ( A − 1 ) 2 + ⋯ p(A)=k_0I+k_1A+k_2A^2+\cdots+k_{-1}A^{-1}+k_{-2}(A^{-1})^2+\cdots p(A)=k0I+k1A+k2A2+⋯+k−1A−1+k−2(A−1)2+⋯。对应的特征向量全部保持不变。
Gershgorin圆盘
格史高林(Gershgorin)圆盘:对于复方阵 A A A的每一行,以 a i i a_{ii} aii为中心,其它元素的模的和为半径的圆称为圆盘 D i D_i Di。
Gershgorin定理: A A A的所有特征值都在所有 D i D_i Di的并集里。
更强的版本:对于每一列,以 a i i a_{ii} aii为中心,其它元素的模的和为半径的列圆盘为 D i ∗ D^*_i Di∗。那么 A A A的所有特征值在所有 D i D_i Di的并集里,也在所有 D i ∗ D^*_i Di∗的并集里(原来是废话)。即 σ ( A ) ⊂ ( ⋃ D i ) ∩ ( ⋃ D i ∗ ) \sigma(A)\subset(\bigcup D_i)\cap(\bigcup D_i^*) σ(A)⊂(⋃Di)∩(⋃Di∗)。
定理 称几个圆盘连成的一个极大连通块是一个连通区域,如果这个区域由 m m m个圆盘构成,那么这里面恰好包含 m m m个特征值。
豪斯霍尔德变换
设实向量 ∣ ∣ w ∣ ∣ = 1 ||\bm{w}||=1 ∣∣w∣∣=1,称矩阵 P = 1 − 2 w w T P=1-2\bm{ww}^T P=1−2wwT是一个豪斯霍尔德(Householder)矩阵。
将任意向量 v \bm{v} v分解为沿 w \bm{w} w方向 v 2 \bm{v}_2 v2和垂直于 w \bm{w} w方向 v 1 \bm{v}_1 v1,则有 P v 1 = v 1 Pv_1=v_1 Pv1=v1, P v 2 = − v 2 Pv_2=-v_2 Pv2=−v2,因此 P v = v 1 − v 2 P\bm{v}=\bm{v}_1-\bm{v}_2 Pv=v1−v2。
性质:
- P P P对称。
- P P P是幺正矩阵。
- P 2 = I P^2=I P2=I,即 P = P − 1 P=P^{-1} P=P−1。
- ∣ P ∣ = 1 |P|=1 ∣P∣=1
- P P P的特征值是 n − 1 n-1 n−1个 1 1 1和 1 1 1个 − 1 -1 −1。
定理 若 x ≠ y \bm{x}\ne \bm{y} x=y,则 y = P x , ∃ P 是 H o u s e h o l d e r ⟺ ∣ ∣ x ∣ ∣ 2 = ∣ ∣ y ∣ ∣ 2 \bm{y}=P\bm{x},\exists P\rm{是Householder}\iff||\bm{x}||_2=||\bm{y}||_2 y=Px,∃P是Householder⟺∣∣x∣∣2=∣∣y∣∣2也就是经过Householder变换的向量模长不变。两个模长相等的向量也一定可以由Householder变换互相得到。
Givens变换
吉芬斯(Givens)矩阵 J ( i , k , θ ) J(i,k,\theta) J(i,k,θ)是 n n n阶单位矩阵把 i , i i,i i,i和 k , k k,k k,k两个位置改成 cos θ \cos \theta cosθ,然后把张出去的右上角改成 sin θ \sin\theta sinθ、左下角改成 − sin θ -\sin\theta −sinθ得到的矩阵。
吉芬斯矩阵是正交矩阵而且行列式是 1 1 1。
对于向量 { x i } \{x_i\} {xi},如果想要把第 i i i和 k k k个元素变成 r ≡ x i 2 + x k 2 r\equiv\sqrt{x_i^2+x_k^2} r≡xi2+xk2和 0 0 0,只需要左乘一个吉芬斯矩阵,其 cos θ = x i / r \cos \theta=x_i/r cosθ=xi/r, sin θ = x k / r \sin \theta = x_k/r sinθ=xk/r。都是零的特殊情况除外,此时 cos θ = 1 \cos\theta=1 cosθ=1, sin θ = 0 \sin\theta=0 sinθ=0。
称可对角化矩阵为稀碎矩阵,因为他的所有特征向量都线性无关,Jordan标准型是对角矩阵。
幂迭代法
设 A A A是实稀碎矩阵,特征向量为 x i \bm{x}_i xi,对应 λ i \lambda_i λi。任意向量 x ( 0 ) = ∑ α i x i \bm{x}^{(0)}=\sum\alpha_i\bm{x}_i x(0)=∑αixi。
若 α 1 ≠ 0 \alpha_1\ne 0 α1=0,且 ∣ λ 1 ∣ |\lambda_1| ∣λ1∣最大,那么 A k x ( 0 ) ( k → + ∞ ) A^k\bm{x}^{(0)}(k\to+\infty) Akx(0)(k→+∞)由级别最大的项 α 1 λ 1 k x 1 \alpha_1\lambda_1^k\bm{x}_1 α1λ1kx1控制。
现在给定 v ( 0 ) \bm{v}^{(0)} v(0),按如下方法迭代。
- 计算 z = A v o l d \bm{z}=A\bm{v}_{old} z=Avold
- 计算 m m m为 z \bm{z} z中绝对值最大的分量的值(与无穷范数不同:无穷范数是最大的绝对值,这个还要带符号)(注意与一般的最大值不同)
- v n e w = z / m \bm{v}_{new}=\bm{z}/m vnew=z/m
也就是不断左乘 A A A,但是每次都把绝对值最大的元素化归为 1 1 1。
显然,这也相当于直接左乘 k k k次 A A A,然后一次性化归好。
如果 ∣ λ 1 ∣ |\lambda_1| ∣λ1∣最大,称之为主特征值,对应主特征向量。那么 v \bm{v} v最终会收敛到 x 1 / m x 1 \bm{x}_1/m_{\bm{x}_1} x1/mx1, m m m最终会收敛到 λ 1 \lambda_1 λ1。
类似Aitken的加速
m k = a m a x ( z ( k ) ) = a m a x ( A v ( k − 1 ) ) m_k=amax(\bm{z}^{(k)})=amax(A\bm{v}^{(k-1)}) mk=amax(z(k))=amax(Av(k−1))。
计算 λ 1 ( k ) = m k m k + 2 − m k + 1 2 m k + 2 − 2 m k + 1 + m k \lambda_1^{(k)}=\frac{m_km_{k+2}-m_{k+1}^2}{m_{k+2}-2m_{k+1}+m_{k}} λ1(k)=mk+2−2mk+1+mkmkmk+2−mk+12。
逆幂迭代法
如果左乘的是 A − 1 A^{-1} A−1,那么 z n e w = A − 1 v o l d \bm{z}_{new}=A^{-1}\bm{v}_{old} znew=A−1vold。 m = a m a x ( z ) m=amax(z) m=amax(z), v = z / m \bm{v}=\bm{z}/m v=z/m。
v \bm{v} v最终会收敛到 x n / a m a x ( x n ) \bm{x}_n/amax(\bm{x}_n) xn/amax(xn),即最小的特征值对应的。 m m m会收敛到 1 / λ n 1/\lambda_n 1/λn。显然, A − 1 A^{-1} A−1的主特征值就是 1 / λ n 1/\lambda_n 1/λn。
那么我们现在可以找出绝对值最小的特征值。那么我们如果让所有特征值减小 q q q,再寻找绝对值最小的特征值,实际上就找到了离 q q q最近的特征值。
Rayleigh商
R ( x ) = ( x , A x ) ( x , x ) R(x)=\frac{(\bm{x},A\bm{x})}{(\bm{x},\bm{x})} R(x)=(x,x)(x,Ax)