线性方程组直接解法的误差分析

线性方程组的直接解法参考： 线性方程组的直接解法

​病态方程组

由于计算机舍入误差，在求解方程组$Ax=b$时总会有误差，实际上是在求解$(A+\delta A)(x+\delta x)=b+\delta b$
有时方程组的解对于系数矩阵和右端向量的扰动非常敏感，此时称为病态方程组

矩阵范数

一个线性映射$A：X\to Y$称为有界的，是指存在常数$C>0,s.t.\forall x\in X,||Ax|{|}_Y\le C||x|{|}_X$,对于有界线性算子$A$可以定义：$||A||:=su{p}_{||x|{|}_X=1}||Ax|{|}_Y<+\infty$ 为算子$A$的范数

可以证明

矩阵条件数

讨论加入扰动后方程可解性：$A+\delta A=A(I+A^{-1}\delta A)$

引理：
若$||B||<1$，则$I\pm B$可逆，且$(I\pm B{)}^{-1}\le \frac{1}{1-||B||}$

证明：反证法

定理：
设$detA\ne 0,b\ne 0,||A^{-1}||||\delta A||<-1$,则有
$\frac{||\delta x||}{||x||}\le \frac{||A||||A^{-1}||}{1-||A||||A^{-1}||\frac{||\delta A||}{||A||}}(\frac{||\delta A||}{||A||}+\frac{||\delta b||}{||b||})$

由此可以看到，舍入误差可能会被放大$||A||||A^{-1}||$倍，定义矩阵条件数

设$detA\ne 0$，令$cond(A)=||A||\cdot ||A^{-1}||$称为矩阵$A$的条件数

条件数越大，线性方程越病态

那么找到一个解$\hat{x}$,当$r=b-A\hat{x}$很小时，是否可以说明$\hat{x}$是线性方程组一个很好的近似？
答案是不可以！

后验误差误差估计定理:
$\frac{1}{cond(A)}\frac{||r||}{||b||}\le \frac{||x-\hat{x}||}{||x||}\le cond(A)\frac{||r||}{||b||}$

如何改善近似解

当矩阵条件数不是太大，可以用如下迭代法来改善：

1. $r_0=b,k=1$；
2. 用直接解法解线性方程组$A{x}_k=r_{k-1}$；
3. 获取残差$r_k=b-A{x}_k$；
4. 若$||r_k||>ϵ$，$k+=1$，返回1,否则输出$x=x_k$；

通常按照上述方法迭代几次可以提高几位有效数字，但是如果矩阵条件数太大，此方法无效。如果条件数太大，需要对原矩阵做一些处理，以期降低其条件数，思路：
找到矩阵$P,Q$,
原线性方程组可以修改为$PAQ{Q}^{-1}x=Pb$，令$PAQ=\tilde{A},Pb=\tilde{b}$,使得$cond(\tilde{A})\ll cond(A)$
为了简化计算，通常选择较简单形式的$P,Q$，如上下三角阵、对角阵…

当矩阵元素之间量级差较大，像上述例题中使用的行平衡、列平衡方法有效，但是当差距不大时收效甚微，如Hilbert矩阵

正则化方法

俄国数学家Tikhonov提出了一种正则化方法，利用矩阵奇异值分解来进行。
问题：线性方程组舍入误差的根源是什么？

对$A\in C^{m\times n}$,我们有$M=A^{T}A\in C^{n\times n}$为半正定矩阵，设其特征值为${\mu }_1^2,{\mu }_2^2,...,{\mu }_n^2$，设${\mu }_1\ge {\mu }_2\ge ...\ge {\mu }_n$，称为$A$的奇异值

对非方阵的矩阵$A$,设其秩为$r$,则${\mu }_1\ge {\mu }_2\ge ...\ge {\mu }_{r+1}=...={\mu }_n=0$。存在奇异值分解$A=VD{U}^T$

易知$Ax=b$要有解，则$(b,v_i)=0,\forall i>r+1$
则$b={\sum }_{j=1}^r(b,v_j)v_j$
同理，$x={\sum }_{j=1}^n(x,u_j)u_j$
则$Ax={\sum }_{j=1}^n(x,u_j)A{u}_j={\sum }_{j=1}^r{\mu }_j(x,u_j)v_j={\sum }_{j=1}^r(b,v_j)v_j$
则$x={\sum }_{j=1}^r\frac{1}{{\mu }_j}(b,v_j)u_j$
由此可知，当${\mu }_j\ll 1$时，存在较大的舍入误差
病态条件：$cond(A{)}_2=\frac{{\mu }_1}{{\mu }_n}\ge 1$，由${\mu }_1\sim O(1)$，则${\mu }_n\ll 1$。
因此，较大的矩阵条件数可以推出存在远小于1的奇异值，而在求解方程解时由于出现1除以一个远小于1的数这一运算操作，导致了该线性方程组的求解存在较大的舍入误差的现象

吉洪诺夫正则化方法

采用近似解：$x={\sum }_{j=1}^r\frac{{\mu }_j}{\alpha +{\mu }_j^2}(b,v_j)u_j$
使用吉洪诺夫正则化方法存在两种误差：舍入误差和$\alpha$的近似误差，在实际操作中是一个trade-off的的问题，一般取$\alpha \sim {\delta }^{\frac{2}{3}}$，其中$\delta$表示机器的舍入误差。

除了吉洪诺夫正则化方法，还有其他的方法，包括在这个式子中$x={\sum }_{j=1}^r\frac{1}{{\mu }_j}(b,v_j)u_j$直接舍弃小于一定阈值的奇异值对应的项等。