【高等数值分析】Krylov子空间方法

最新推荐文章于 2025-04-17 14:52:05 发布

置顶

Bonennult

最新推荐文章于 2025-04-17 14:52:05 发布

阅读量1.3w

点赞数 27

分类专栏：高等数值分析文章标签：线性代数矩阵线性方程组

本文链接：https://blog.csdn.net/weixin_41024483/article/details/122703181

版权

文章目录

1. 预备理论

现在需要求解一个大规模稀疏方程组 $A x = b$ ，可以用迭代法比如 Jacobi 迭代法、Gauss-Seidel 迭代法等，不过这一节要讨论的是 Krylov 子空间方法，核心部分是 Arnoldi 迭代。

1.1 Krylov 子空间

定理（Cayley-Hamilton）：设 $A\in{\mathbb C}^{n\times n}$ ，则 $A$ 的特征多项式 $\chi(z)$ 是 $A$ 的零化多项式，也即 $\chi(A)=0$ 。

假设特征多项式 $\chi(z)=z^n + c_{n-1}z^{n-1} + \cdots + c_1 z+ c_0=(-1)^n \operatorname{det}(A)$ ，那么根据 $\chi(A)=0$ 可以得到
$A^{-1} = -\frac{1}{c_0} A^{n-1} - \frac{c_{n-1}}{c_0} A^{n-2} + \cdots -\frac{c_1}{c_0} I = q_{n-1}(A)$
利用这个等式，在求解线性方程组的时候，给定任意初值 $x_0$ ，都有 $Ax^{\ast}-Ax_0=b-Ax_0 \equiv r_0$ ，于是 $x^{\ast} = x_0 + q_{n-1}(A)r_0$ ，因此理论上可以在空间
$\mathcal{K}=\left\{\boldsymbol{r}_{0}, A \boldsymbol{r}_{0}, \cdots, A^{m} \boldsymbol{r}_{0}, \cdots, A^{n-1} \boldsymbol{r}_{0}\right\}$
中找到方程组的准确解，但是科学与工程计算问题中 $n$ 可以达到 $10^6$ 量级，直接求解代价太高。因此希望在其一个低维子空间中搜索近似解。

定义 $m$ 维 Krylov 子空间为
$\mathcal{K}_{m}=\operatorname{span}\left(\boldsymbol{r}_{0}, A \boldsymbol{r}_{0}, A^{2} \boldsymbol{r}_{0}, \cdots, A^{m-1} \boldsymbol{r}_{0}\right)$
方程组求解问题转化为
$\min_{x\in x_0+{\mathcal K}_m} \Vert x^{\ast} - x\Vert.$

1.2 最佳逼近

现在的问题就是在何种范数意义下求解问题 $\min_{x\in x_0+{\mathcal K}_m} \Vert x^{\ast} - x\Vert$ 。假设 ${\mathcal K}_m$ 的一组基作为列向量构成矩阵 $V_m$ ，最优解为 $x_m = x_0 + V_m y^{\ast} \in x_0 + {\mathcal K}_m, ~ y^{\ast}\in{\mathbb R}^{m}$ 。

1.2.1 方法一：最佳平方逼近

取 $2$ 范数 $\min_{x\in x_0+{\mathcal K}_m} \Vert x^{\ast} - x\Vert_2$ ，那么根据最佳平方逼近条件（对 $x$ 求导，取零点），或者 Galerkin 正交条件，可以推出法方程为
$\begin{aligned} &\langle x^{\ast} - x_m, y \rangle = 0, ~ \forall y\in {\mathcal K}_m \\ \iff & V_m^{\rm T}(x^{\ast}-x_m) = 0 \end{aligned}$

最低0.47元/天解锁文章