线性代数应用基础补充2

特征值集合可以多项式运算

若$A$的特征值集合是$\sigma (A)$，则$p(A)$的 特征值集合是$p(\sigma (A))$。$p(A)=k_{0}I+k_{1}A+k_2{A}^2+\cdots +k_{-1}{A}^{-1}+k_{-2}(A^{-1}{)}^2+\cdots$。对应的特征向量全部保持不变。

Gershgorin圆盘

格史高林（Gershgorin）圆盘：对于复方阵$A$的每一行，以$a_{ii}$为中心，其它元素的模的和为半径的圆称为圆盘$D_i$。

Gershgorin定理：$A$的所有特征值都在所有$D_i$的并集里。

更强的版本：对于每一列，以$a_{ii}$为中心，其它元素的模的和为半径的列圆盘为$D_i^{\ast }$。那么$A$的所有特征值在所有$D_i$的并集里，也在所有$D_i^{\ast }$的并集里（原来是废话）。即$\sigma (A)\subset (\bigcup D_i)\cap (\bigcup D_i^{\ast })$。

定理 称几个圆盘连成的一个极大连通块是一个连通区域，如果这个区域由$m$个圆盘构成，那么这里面恰好包含$m$个特征值。

豪斯霍尔德变换

设实向量$||\mathbf{w}||=1$，称矩阵$P=1-2{\mathbf{w}\mathbf{w}}^T$是一个豪斯霍尔德（Householder）矩阵。

将任意向量$\mathbf{v}$分解为沿$\mathbf{w}$方向${\mathbf{v}}_2$和垂直于$\mathbf{w}$方向${\mathbf{v}}_1$，则有$P{v}_1=v_1$，$P{v}_2=-v_2$，因此$P\mathbf{v}={\mathbf{v}}_1-{\mathbf{v}}_2$。

性质：

• $P$对称。
• $P$是幺正矩阵。
• $P^2=I$，即$P=P^{-1}$。
• $|P|=1$
• $P$的特征值是$n-1$个$1$和$1$个$-1$。

定理 若$\mathbf{x}\ne \mathbf{y}$，则$$\mathbf{y}=P\mathbf{x},\exists P是\mathrm{H}\mathrm{o}\mathrm{u}\mathrm{s}\mathrm{e}\mathrm{h}\mathrm{o}\mathrm{l}\mathrm{d}\mathrm{e}\mathrm{r}⟺||\mathbf{x}|{|}_2=||\mathbf{y}|{|}_2$$也就是经过Householder变换的向量模长不变。两个模长相等的向量也一定可以由Householder变换互相得到。

Givens变换

吉芬斯（Givens）矩阵$J(i,k,\theta )$是$n$阶单位矩阵把$i,i$和$k,k$两个位置改成$\cos \theta$，然后把张出去的右上角改成$\sin \theta$、左下角改成$-\sin \theta$得到的矩阵。

吉芬斯矩阵是正交矩阵而且行列式是$1$。

对于向量 { x i } \{x_i\} {xi​}，如果想要把第$i$和$k$个元素变成$r\equiv \sqrt{x_i^2+x_k^2}$和$0$，只需要左乘一个吉芬斯矩阵，其$\cos \theta =x_i/r$，$\sin \theta =x_k/r$。都是零的特殊情况除外，此时$\cos \theta =1$，$\sin \theta =0$。

称可对角化矩阵为稀碎矩阵，因为他的所有特征向量都线性无关，Jordan标准型是对角矩阵。

幂迭代法

设$A$是实稀碎矩阵，特征向量为${\mathbf{x}}_i$，对应${\lambda }_i$。任意向量${\mathbf{x}}^{(0)}=\sum {\alpha }_i{\mathbf{x}}_i$。

若${\alpha }_1\ne 0$，且$|{\lambda }_1|$最大，那么$A^k{\mathbf{x}}^{(0)}(k\to +\infty )$由级别最大的项${\alpha }_1{\lambda }_1^k{\mathbf{x}}_1$控制。

现在给定${\mathbf{v}}^{(0)}$，按如下方法迭代。

• 计算$\mathbf{z}=A{\mathbf{v}}_{old}$
• 计算$m$为$\mathbf{z}$中绝对值最大的分量的值（与无穷范数不同：无穷范数是最大的绝对值，这个还要带符号）（注意与一般的最大值不同）
• ${\mathbf{v}}_{new}=\mathbf{z}/m$

也就是不断左乘$A$，但是每次都把绝对值最大的元素化归为$1$。

显然，这也相当于直接左乘$k$次$A$，然后一次性化归好。

如果$|{\lambda }_1|$最大，称之为主特征值，对应主特征向量。那么$\mathbf{v}$最终会收敛到${\mathbf{x}}_1/m_{{\mathbf{x}}_1}$，$m$最终会收敛到${\lambda }_1$。

类似Aitken的加速

$m_k=amax({\mathbf{z}}^{(k)})=amax(A{\mathbf{v}}^{(k-1)})$。

计算${\lambda }_1^{(k)}=\frac{m_k{m}_{k+2}-m_{k+1}^2}{m_{k+2}-2m_{k+1}+m_k}$。

逆幂迭代法

如果左乘的是$A^{-1}$，那么${\mathbf{z}}_{new}=A^{-1}{\mathbf{v}}_{old}$。$m=amax(z)$，$\mathbf{v}=\mathbf{z}/m$。

$\mathbf{v}$最终会收敛到${\mathbf{x}}_n/amax({\mathbf{x}}_n)$，即最小的特征值对应的。$m$会收敛到$1/{\lambda }_n$。显然，$A^{-1}$的主特征值就是$1/{\lambda }_n$。

那么我们现在可以找出绝对值最小的特征值。那么我们如果让所有特征值减小$q$，再寻找绝对值最小的特征值，实际上就找到了离$q$最近的特征值。

Rayleigh商

$$R(x)=\frac{(\mathbf{x},A\mathbf{x})}{(\mathbf{x},\mathbf{x})}$$