计算机求解线性方程组

0. 引言

在很多工程求解问题中，大部分的数值计算都可以归结为求解线性方程组的问题，所以求解线性方程组是数值计算中最为重要的一部分。其中还有很多其他数值计算中，其中的关键步骤都涉及到线性方程组的求解。由克莱姆法则可知，线性方程组$Ax=b$中，系数矩阵的行列式$\det (A)\ne 0$，则线性方程组具有唯一解。克莱姆法则在计算高维度情况下的矩阵运算中计算量很大，不适合求解一般情况下的线性方程组。常见的求解线性方程组的方法有两种，即直接方法和迭代方法。直接方法是指通过有限的步骤计算直接求解出方程组的精确解的方法。迭代的方法值得是用极限的过程去逐步逼近线性方程组精确解的方法。本节将实现这几种求解的方法。

1. 直接消元法

直接消元的方法是一种便捷的求解线性方程组的方法。高斯消去方法是最为古老的一种线性方程组求解的方法。通过改进高斯消去法得到更加便捷的主元素消去法、矩阵的三角分解(即Doolittle分解方法)，是用于求解低阶稠密方程组的有效方法。特点是，通过消元将一般的线性方程组求解问题转化为上三角方程组求解问题。

1.1 高斯消元法

1.1.1 顺序高斯消去法

一般地，设$n$阶线性方程组为
$$\{\begin{array}{l}{a}_{11}^{(0)}{x}_1+a_{12}^{(0)}{x}_2+...+a_{1n}^{(0)}{x}_n=b_1^{(0)}\\ a_{21}^{(0)}{x}_1+a_{22}^{(0)}{x}_2+...+a_{2n}^{(0)}{x}_n=b_2^{(0)}\\ :\\ a_{n1}^{(0)}{x}_1+a_{n2}^{(0)}{x}_2+...+a_{nn}^{(0)}{x}_n=b_n^{(0)}\end{array}$$
写成增广矩阵的方式为
$$(A^{(0)}|b^{(0)})=\left[\begin{array}{ccccc}{a}_{11}^{(0)}& a_{12}^{(0)}& ...& a_{1n}^{(0)}& b_1^{(0)}\\ a_{21}^{(0)}& a_{22}^{(0)}& ...& a_{2n}^{(0)}& b_2^{(0)}\\ :& :& :& :& :\\ a_{n1}^{(0)}& a_{n2}^{(0)}& ...& a_{nn}^{(0)}& b_n^{(0)}\end{array}\right]$$
设$l_{i1}=a_{i1}^{(0)}/a_{11}^{(0)},(i=2,3,...,n)$，将第一行的$-l_{i1}$倍加到第$i$行上，那么矩阵变为
$$(A^{(1)}|b^{(1)})\left[\begin{array}{ccccc}{a}_{11}^{(0)}& a_{12}^{(0)}& ...& a_{1n}^{(0)}& b_1^{(0)}\\ 0& a_{22}^{(1)}& ...& a_{2n}^{(1)}& b_2^{(1)}\\ :& :& :& :& :\\ a_{n1}^{(1)}& a_{n2}^{(1)}& ...& a_{nn}^{(1)}& b_n^{(1)}\end{array}\right]$$
其中，式子中
$$a_{ij}^{(1)}=a_{ij}^{(0)}-l_{i1}{a}_{1j}^{(0)},(i=2,3,...,n;j=1,2,...,n)$$

$$b_i^{(1)}=b_i^{(0)}-l_{i1}{b}_1^{(0)},(i=2,3,...,n)$$

第$k$步骤的时候，设主元素$a_{kk}^{(k-1)}\ne 0$时，设$l_{ik}=a_{ik}^{(k-1)}/a_{kk}^{(k-1)}$，并且将$(A^{(k-1)|b^{(k-1)}})$的第$k$行的$-l_{ik}$倍加到第$i$行$(i=k+1,k+2,...,n)$得到：
$$(A^{(k)}|b^{(k)})=\left[\begin{array}{cccccccc}{a}_{11}^{(0)}& a_{12}^{(0)}& ...& a_{1k}^{(0)}& a_{1(k+1)}^{(0)}& ...& a_{1n}^{(0)}& b_1^{(0)}\\ & & :& :& :& :& :& :\\ & & & a_{kk}^{(k-1)}& a_{k(k+1)}^{(0)}& ...& a_{kn}^{(k-1)}& b_k^{(k-1)}\\ & & & & a_{(k+1)(k+1)}^{(k)}& ...& a_{(k+1)n}^{(k)}& b_n^{(k)}\\ & & & & :& :& :& :\\ & & & & a_{n(k+1)}^{(k)}& ...& a_{nn}^{(k)}& b_n^{(k)}\end{array}\right]$$

式中
$$a_{ij}^{(k)}=a_{ij}^{(k-1)}-l_{ik}{a}_{kj}^{(k-1)},(i,j=k+1,k+2,...,n)$$

b i ( k ) = b i ( k − 1 ) − l i k b k ( k − 1 ) , ( i = k + 1 , k + 2 , . . . , n ) b_{i}^{(k)}=b_{i}^{(k-1)}-l_{ik}b_{k}^{(k-1)},(i=k+1,k+2,...,n) b