计算方法--解线性方程组的直接法

一、Gauss 消元法

Gauss消元法较为简单，只会简单叙述。

1.顺序高斯消元法

通过对方程组的增广矩阵进行初等行变换将矩阵变为上三角矩阵。
再通过回代求得原方程组的解。

总计算量

$$\frac{1}{3}{n}^3+n^2-\frac{1}{3}{n}^2$$

2.主元素高斯消元法

为了控制舍入误差的扩大和传播而提出的。

列主元素高斯消元法

将该列绝对值尽可能大的系数作为第k步消元的主元素

3.高斯-约当（Gauss-Jordan）消去法

每次消去对角线下方和上方的元素
每次消元过程中，选取列主元素。

总计算量

$$\frac{1}{2}{n}^3+\frac{1}{2}{n}^2$$
计算量比高斯消去法计算量大，但不需要回代。

二、矩阵三角分解法

1.直接三角分解法（LU分解、Doolittle分解）

条件：

矩阵A的各阶顺序主子式都不为0（可逆）。

计算顺序

• 先计算第一行，从左到右依次计算 $u$ ，$y$。
• 再计算第一列，从上到下计算 $l$。
• 按照前两部依次计算第二行到最后一行。

计算公式

设矩阵 $A$ 的增广矩阵 $A$ 为 $A[n+1][n+2];$ 下标为0的元素位置为0.
$$\mathbf{A}=\left(\begin{array}{cccccc}{a}_{11}& a_{12}& \cdots & a_{1n}& |& b_1\\ a_{21}& a_{22}& \cdots & a_{2n}& |& b_2\\ ⋮& ⋮& & ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}& |& b_n\end{array}\right)$$

则有：

for(int i=1;i<=n;i++){//i表示计算的层数
	//对于第i层

		//先计算u,y值,用u值替换a值,用y值替代b值
		for(int k=i;k<=n+1;k++){
			for(int r = 1; r < i; r++)
				A[i][k] = A[i][k] -  A[i][r]*A[r][k];
		}
	
		//再计算l值，替代下三角的a值
		for(int k = i + 1; k <= n; k++){
			for(int r = 1; r<i; r++){
				A[k][i] = A[k][i] - A[k][r]*A[r][i];
			}
			A[k][i] /= A[k][k];
		}
	}

替换后的值如下：
$$\mathbf{L}\&\mathbf{U}\&\mathbf{y}=\left(\begin{array}{ccccccc}{u}_{11}& u_{12}& u_{13}& \cdots & u_{1n}& |& y_1\\ l_{21}& u_{22}& u_{23}& \cdots & u_{2n}& |& y_2\\ l_{31}& l_{32}& u_{33}& \cdots & u_{3n}& |& y_3\\ ⋮& ⋮& ⋮& & ⋮& & ⋮\\ l_{n1}& l_{n2}& \cdots & \cdots & u_{nn}& |& y_n\end{array}\right)$$

及：$u_{34}(黑色)-=红色部分的计算值$(y值同理)

及：
$l_{43}(黑色)-=红色部分的计算值$
然后，
$l_{43}(黑色)/=橙色（橙色为对角线上的值）$

最后通过计算$Ux=y$得出$x$。用$x$的值替代$y$值。
有

$for(k=i+1;k<n;k++)$
$A[i][n+1]=A[i][n+1]-A[i][k]\ast A[k][n+1]$

$A[i][n+1]/=A[i][i]$
即 ：$黑色=黑色-红色的积和$
再计算：$黑色=黑色/橘色$

计算量

也是 $\frac{1}{3}{n}^3$数量级,与高斯消元法计算量基本相同。

优点

若是有多个系数矩阵相同而右边项不同的一系列方程组，用直接三角分解法更简单。

三、Cholesky分解法（平方根法）

条件

• 系数矩阵$A$对称，即$A=A^T$
• 系数矩阵$A$正定，即$A$的特征值均为正值。

分解结果

可以将$A$唯一的分解为$A=L{L}^T$
$$L=\left(\begin{array}{cccc}{l}_{11}& 0& \cdots & 0\\ l_{21}& l_{22}& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ l_{n1}& l_{n2}& \cdots & l_{nn}\end{array}\right)$$

计算L的步骤

从外层向内侧依次计算。同$LU$分解。

Step1，计算对角元素

$$\begin{array}{c}{l}_{kk}=\sqrt{a_{kk}-{\sum }_{p=1}^{k-1}{l}_{kp}^2}\end{array}$$

1. $对角元素=对角元素-红色部分的积和$（注意：A为对称矩阵。即：$a_{14}=a_{41}$）
2. $对角元素=\sqrt{对角元素}$
   

Step2，计算同列其他元素

$$\begin{array}{c}{l}_{ik}=\left(a_{ik}-{\sum }_{p=1}^{k-1}{l}_{ip}{l}_{kp}\right)/l_{kk},\\ i=k+1,k+2,\cdots ,n\end{array}$$

1. $A[i][j]=A[i][j]-红色部分的积和$（注意：$因为A_{13}并未更新为l_{13},所以要将A[1][3]替换为A[3][1]这是与UL分解不同的地方$）
2. $A[i][j]=A[i][j]/对角元素（橘色）$
   

在完成 Cholesky 分解后, 我们可分别求解以下系数矩阵。即$U=L^T$:

$$\mathbf{L}\mathbf{Y}=\mathbf{b},{\mathbf{L}}^{\mathrm{T}}\mathbf{X}=\mathbf{Y}$$

$$\{\begin{array}{l}{y}_1=b_1\\ y_i=b_i-{\sum }_{k=1}^{i-1}{l}_{ik}{y}_k,i=2,3,\cdots ,n\end{array}$$

$$\{\begin{array}{l}{x}_n=y_n/u_{nn}\\ x_i=\left(y_i-{\sum }_{k=i+1}^n{u}_{ik}{x}_k\right)/u_{ii},i=n-1,n-2,\cdots ,1.\end{array}$$

由于上述线性方程组有大量开方运算，故改进Cholesky分解法。

改进的Cholesky分解法

将$A$分解为：
$$A=LD{L}^T$$

Step 1. 计算 D 值

$$d_j=a_{jj}-\sum _{k=1}^{j-1}{l}_{jk}{v}_{jk},v_{jk}=l_{jk}{d}_k,$$

Step 2. 计算第j列的L值

注意：L为单位下三角矩阵。即：L矩阵的对角元素为1.
$$\begin{array}{c}\\ l_{ij}=\left(a_{ij}-{\sum }_{k=1}^{j-1}{l}_{ik}{v}_{jk}\right)/d_j,i=j+1,j+2,\cdots ,n.\end{array}$$

在完成分解后, 我们可分别求解下列系数矩。

$$\mathbf{L}\mathbf{Y}=\mathbf{b},\mathbf{D}{\mathbf{L}}^{\mathrm{T}}\mathbf{X}=\mathbf{Y}$$

追赶法

条件

• 三对角非线性方程组
• 对角占优（$|b_i|>=|a_i|+|c_i|$）

$$\left(\begin{array}{ccccccc}{b}_1& c_1& & & & & \\ a_2& b_2& c_2& & & & \\ & \ddots & \ddots & \ddots & & & \\ & & a_i& b_i& c_i& & \\ & & & \ddots & \ddots & \ddots & \\ & & & & a_{n-1}& b_{n-1}& c_{n-1}\\ & & & & & a_n& b_n\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_i\\ ⋮\\ x_{n-1}\\ x_n\end{array}\right)=\left(\begin{array}{c}{d}_1\\ d_2\\ ⋮\\ d_i\\ ⋮\\ d_{n-1}\\ d_n\end{array}\right)$$

求解过程

• 通过 Gauss 消元法将其化为系数矩阵为单位上三角形矩阵的方程组
  $$\left(\begin{array}{ccccc}1& {\beta }_1& & & \\ & 1& {\beta }_2& & \\ & & \ddots & \ddots & \\ & & & 1& {\beta }_{n-1}\\ & & & & 1\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_{n-1}\\ x_n\end{array}\right)=\left(\begin{array}{c}{\gamma }_1\\ {\gamma }_2\\ ⋮\\ {\gamma }_{n-1}\\ {\gamma }_n\end{array}\right)$$
• 回代求得方程组的解。
  $$x_n={\gamma }_n,x_i={\gamma }_i-{\beta }_i{x}_{i+1},i=n-1,n-2,\cdots ,2$$

误差分析

$$cond(A)=||A^{-1}||\cdot ||A||$$刻画了方程组$Ax=b$的病态程度，及解对$A,b$扰动的敏感程度。

性质

对可逆矩阵A，有：

• $cond(A)=cond(A^{-1})$
• $cond(kA)=cond(A)$
• $con{d}_2(U)=1$
• 等等