二、解线性方程组的直接方法

https://zhuanlan.zhihu.com/p/30485749

设$n$阶线性方程组：

$$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+...+a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+...+a_{2n}{x}_n=b_2\\ \dots \dots \dots \dots \dots \dots \\ a_{m1}{x}_1+a_{m2}{x}_2+...+a_{mn}{x}_n=b_n\end{array}(2-1)$$

其矩阵形式为：

$$Ax=b(2-2)$$

如果线性方程组（2-1）的系数矩阵$A$的行列式不为0，即$\det A\ne 0$，则该方程组有唯一解。由克拉默法则，其解为：

$$x_i=\frac{\det A_i}{\det A}(i=1,2,\dots ,n)$$

其中$A_i$为用方程组（2-1）的右端向量$b$代替$A$中第$i$列向量得到的矩阵。这种方法需要计算n+1个n阶行列式并作n次除法，而每个n阶行列式计算需做$(n-1)\times n!$次乘法，计算量十分惊人。因此当n较大时，在实际计算中是不可行的。

解线性方程组的方法大致可分为两类：直接方法和迭代法。直接方法是指假设计算过程中不产生舍入误差，经过有限次运算可求得方程组的精确解的方法。迭代法是从解的某个近似值出发，通过构造一个无穷序列去逼近精确解的方法。一般地，有限步内得不到精确解。

在本章的介绍中，均假设方程组（2-1）的系数矩阵非奇异（？），方程组存在唯一解。

一、消去法（什么时候用小数什么时候用分数？）

1.1 Gauss消去法

解线性方程组的直接方法的基本思想是将方程组（2-1）变形为等价的三角形方程组，然后求解。Gauss消去法的基本思想和过程是：将方程组逐列逐行消去变量，转化为等价的上三角形方程组，此过程称为消元过程。然后按着方程组相反顺序求解上三角形方程组，得到原方程组的解，此过程称为回代过程。

为统一起见，将方程组（2-1）改写成：
$$\{\begin{array}{l}{a}_{11}^{(1)}{x}_1+a_{12}^{(1)}{x}_2+...+a_{1n}^{(1)}{x}_n=b_1^{(1)}\\ a_{21}^{(1)}{x}_1+a_{22}^{(1)}{x}_2+...+a_{2n}^{(1)}{x}_n=b_2^{(1)}\\ \dots \dots \dots \dots \dots \dots \\ a_{m1}^{(1)}{x}_1+a_{m2}^{(1)}{x}_2+...+a_{mn}^{(1)}{x}_n=b_n^{(1)}\end{array}(2-3)$$

简记为$A^{(1)}x=b^{(1)}$，其中$A^{(1)}=A,b^{(1)}=b$。

一般地，求解$n$阶方程组（2-1）的Gauss消去法的步骤如下：

消元过程

第一步：设$a_{11}^{(1)}\ne 0$，记$l_{i1}=a_{i1}^{(1)}/a_{11}^{(1)}$，将方程组（2-3）中第$i$个方程减去第1个方程乘以$l_{i1}(i=2,3,\dots ,n)$，完成第一次消元，得（2-3）的同解方程组：

待补充 16

1.2 主元素消去法

Gauss消去法虽然简单易行，但计算过程要求$a_{kk}^{(k)}$（称为主元素）均不为零，否则Gauss消去法不能进行。另一方面，有时主元素$a_{kk}^{(k)}\ne 0$，但$|a_{kk}^{(k)}|$很小，用其作除数，会使：

$|l_{ik}^{(k)}|=|a_{ik}^{(k)}/a_{kk}^{(k)}|$很大，导致舍入误差的严重扩大以及计算结果的不正确。

待补充 19

1.2.1 列主元素法

为简便起见，用方程组（2-1）的增广矩阵：

$$[A,b]=\left[\begin{array}{ccccccc}{a}_{11}& & \dots & & a_{1n}& & b_1\\ ⋮& & & & ⋮& & ⋮\\ a_{n1}& & \dots & & a_{nn}& & b_n\end{array}\right](2-9)$$

表示方程组，并直接在增广矩阵上运算。

列主元素法的基本思想是在每次消元前，在要消去未知数的系数中（即一列中）找到绝对值最大的系数作为主元，通过方程对换将其换到对角线上，然后进行消元，其具体步骤如下：

待补充 20

1.2.2 全主元素法

如果不是按列选主元，而是在全体待选系数$a_{ij}^{(k)}(i,j=k,k+1,\dots ,n)$中选取主元，则得到全主元素法，其计算过程如下：

第一步：在全体系数$a_{ij}(imj=1,\dots ,n)$中选取绝对值最大的元作为主元，并通过行与列的互换把它换到$a_{11}^{(1)}$的位置，然后进行第一次消元，得到矩阵$[A^{(2)},b^{(2)}]$。

第k步：在矩阵$A^{(k)}$的右下方$n-k+1$阶子矩阵的所有元素$a_{ij}^{(k)}(i,j=k,k+1,\dots ,n)$中，选取绝对值最大的元作为主元，并通过行与列的互换将它换到$a_{kk}^{(k)}$的位置，然后进行第k次消元。

经过n-1次消元后，得到与方程组（2-1）同解的上三角形方程组，再由回代过程求解。

待补充 21

二、直接三角分解法

2.1 Gauss消去法的矩阵形式

如果用增广矩阵$[A,b]$表示线性方程组（2-1），Gauss消去法的消元过程可以通过用一串初等矩阵左乘增广矩阵表示。例如，第一次消元等价于用初等矩阵：

$$L_1=\left[\begin{array}{ccccccccc}1& & 0& & 0& & \dots & & 0\\ -l_{21}& & 1& & 0& & \dots & & 0\\ -l_{31}& & 0& & 1& & \dots & & 0\\ ⋮& & ⋮& & ⋮& & & & ⋮\\ -l_{n1}& & 0& & 0& & \dots & & 1\end{array}\right](2-10)$$

左乘矩阵$[A^{(1)},b^{(1)}]=[A,b]$，其中$l_{i1}=a_{i1}^{(1)}/a_{11}^{(1)}(i=2,3,\dots ,n)$，即：

$$[A^{(2)},b^{(2)}]=L_1[A^{(1)},b^{(1)}]$$

一般地，第$k$次消元等价于用初等矩阵：

$$L_k=\left[\begin{array}{cccccc}1& & & & & \\ & \ddots & & & & \\ & & 1& & & \\ & & -l_{k+1k}& 1& & \\ & & ⋮& & \ddots & \\ & & -l_{nk}& & & 1\end{array}\right](2-11)$$

左乘矩阵$[A^{(k)},b^{(k)}]$，其中$l_{ik}=a_{ik}^{(k)}/a_{kk}^{(k)}(i=k+1,\dots ,n)$，经过$n-1$次消元后得到：

待补充 23

2.2 矩阵的直接三角分解

Gauss消去法要求主元素$a_{kk}^{(k)}\ne 0(k=1,\dots ,n-1)$，将这一条件与矩阵$A$自身性质联系起来，有：

定理2.1

设$A$为$n$阶方阵，若$A$的顺序主子式$A_i(i=1,2,\dots ,n-1)$均不为零，则矩阵$A$存在唯一的Doolittle分解。

下面讨论如何对$A$进行LU分解。

两个矩阵相等就是它们的对应元素都相等，比较$A$与LU的对应元素，即可得出L,U中元素的计算公式$A=LU$，即：

$$\left[\begin{array}{ccccccccc}{a}_{11}& & a_{12}& & a_{13}& & \dots & & a_{1n}\\ a_{21}& & a_{22}& & a_{23}& & \dots & & a_{2n}\\ a_{31}& & a_{32}& & a_{33}& & \dots & & a_{3n}\\ ⋮& & ⋮& & ⋮& & & & ⋮\\ a_{n1}& & a_{n2}& & a_{n3}& & \dots & & a_{nn}\end{array}\right]=\left[\begin{array}{ccccc}1& & & & \\ l_{21}& 1& & & \\ l_{31}& l_{32}& 1& & \\ ⋮& ⋮& ⋮& \ddots & \\ l_{n1}& l_{n2}& l_{n3}& \dots & 1\end{array}\right]\left[\begin{array}{cccc}{u}_{11}& u_{12}& \dots & u_{1n}\\ & u_{22}& \dots & u_{2n}\\ & & \ddots & \\ & & & u_{nn}\end{array}\right]$$

由矩阵的乘法规则，得：

$$a_{1j}=u_{1j}(j=1,2,\dots ,n)$$
$$a_{ij}=\{\begin{array}{l}\sum _{k=1}^{i=1}{l}_{ik}{u}_{kj}+u_{ij},j\ge i\\ \\ \sum _{k=1}^j{l}_{ik}{u}_{kj},j<i\end{array}(i=2,\dots ,n)$$

由此可得计算$l_{ij}$和$u_{ij}$的公式：

$$\{\begin{array}{l}{u}_{1j}=a_{1j}(j=1,2,\dots ,n)\\ \\ u_{ij}=a_{ij}-\sum _{k=1}^{i-1}{l}_{ik}{u}_{kj}(i=2,\dots ,n;j=i,\dots ,n)\\ \\ l_{ij}=(a_{ij}-\sum _{k=1}^{j-1}{l}_{ik}{u}_{kj})/u_{jj}(j=1,2,\dots ,n-1;i=j+1,\dots ,n)\end{array}(2-16)$$

计算过程应按第一行，第一列，第二行，第二列，$\dots \dots$ 的顺序进行，具体步骤如下：

1. 计算$U$的第一行，$L$的第一列：
   $$\begin{gathered} u_{1j}=a_{1j}(j=1,2,\dots ,n) \\ {l}_{i1}=a_{i1}/u_{11}(i=2,3,\dots ,n) \end{gathered}$$
2. 计算$U$的第$r$行，$L$的第$r$列($r=2,\dots ,n)$
   $$\begin{gathered} u_{rj}=a_{rj}-\sum _{k=1}^{r-1}{l}_{rk}{u}_{kj}(j=r,r+1,\dots ,n) \\ {l}_{ir}=(a_{ir}-\sum _{k=1}^{r-1}{l}_{ik}{u}_{kr})/u_{rr}(i=r+1,\dots ,n) \end{gathered}$$

实际计算时，常将$u_{rj}$存放在$a_{rj}$的位置上，将$l_{ir}$存放在$a_{ir}$的位置上，按表2-1所示的紧凑格式及顺序进行。

2.3 直接三角分解法

如果线性方程组$Ax=b$的系数矩阵已进行三角分解$A=LU$，则解方程组$Ax=b$等价于求解两个三角形方程组$Ly=b,Ux=y$，即由：

$$Ly=\left[\begin{array}{ccccc}1& & & & \\ l_{21}& 1& & & \\ l_{31}& l_{32}& 1& & \\ ⋮& ⋮& ⋮& \ddots & \\ l_{n1}& l_{n2}& l_{n3}& \dots & 1\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_n\end{array}\right](2-17)$$

可求出

$$y_k=\{\begin{array}{l}{b}_1(k=1)\\ b_k-\sum _{j=1}^{k-1}{l}_{kj}{y}_j(k=2,\dots ,n)\end{array}(2-18)$$

再由：

$$Ux=\left[\begin{array}{cccc}{u}_{11}& u_{12}& \dots & u_{1n}\\ & u_{22}& \dots & u_{2n}\\ & & \ddots & \\ & & & u_{nn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right](2-19)$$

解得：

待补充 28

三、特殊矩阵的三角分解法

如果矩阵$A$事系数的三对角形矩阵或$A$是对称正定阵，这使得$A$的三角分解也具有更简洁的形式，从而导出一些特殊的算法。

3.1 解三对角方程组的追赶法

方程组：

$$\left[\begin{array}{ccccc}{b}_1& c_1& & & \\ a_2& b_2& c_2& & \\ & \ddots & \ddots & \ddots & \\ & & a_{n-1}& b_{n-1}& c_{n-1}\\ & & & a_n& b_n\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_{n-1}\\ x_n\end{array}\right]=\left[\begin{array}{c}{d}_1\\ d_2\\ ⋮\\ d_{n-1}\\ d_n\end{array}\right](2-21)$$

称为三对角方程组，其中系数矩阵$A$是一种特殊的系数矩阵，它的非零元素集中分布在主对角线及其相邻的两条次对角线上，称为三对角矩阵。

如果$A$满足三角分解的条件，可将$A$分解成$LU$，按Doolittle分解法可以证明如下定理。

定理2.3

设方程组（2-21）中的系数矩阵$A$满足条件：

$$\{\begin{array}{l}|b_1|>|c_1|>0\\ |b_i|\ge |a_i|+|c_i|(a_i{c}_i\ne 0,i=2,3,\dots ,n-1)\\ |b_n|>|a_n|>0\end{array}$$

则$A$可唯一分解为：

$$A=LU=\left[\begin{array}{ccccc}1& & & & \\ l_2& 1& & & \\ & l_3& 1& & \\ & & \ddots & \ddots & \\ & & & l_n& 1\end{array}\right]\left[\begin{array}{cccccc}{u}_1& c_1& & & & \\ & u_2& c_2& & & \\ & & u_3& c_3& & \\ & & & \ddots & \ddots & \\ & & & & \ddots & c_{n-1}\\ & & & & & u_n\end{array}\right](2-22)$$

其中$c_i(i=1,2,\dots ,n-1)$由原矩阵给出，且：

$$\{\begin{array}{l}{u}_1=b_1\\ l_i=a_i/u_{i-1}(i=2,3,\dots ,n)\\ u_i=b_i-c_{i-1}{l}_i\end{array}(2-23)$$

当矩阵$A$三角分解后，解线性方程组（2-21）化为求解方程组$Ly=d$和$Ux=y$。解$Ly=d$，得：

$$\{\begin{array}{l}{y}_1=d_1\\ y_k=d_k-l_k{y}_{k-1}\end{array}(2-24)$$

再解$Ux=y$，得三对角方程组（2-21）的解：

$$\{\begin{array}{l}{x}_n=y_n/u_n\\ x_k=(y_k-c_k{x}_{k+1})/u_k\end{array}(2-25)$$

称上述求解三对角方程组的方法为追赶法。

算法

3.2 平方根法（Cholesky分解法）

设$A$是对称正定矩阵，则存在唯一的非奇异下三角形矩阵$L$，使得：

$$A=L{L}^T(2-26)$$

且$L$的对角元素皆为正数。

四、误差分析

4.1 向量和矩阵的范数

向量的范数

向量的范数是衡量向量大小的度量概念，它可以用来刻画$R^n$中向量序列的收敛性。

一般地，定义范数如下：

定义2.1

设对任意向量$x\in R^n$，按一定的规则有一实数与之对应，记为$\Vert x\Vert$，若$\Vert x\Vert$满足：

1. $\Vert x\Vert \ge 0$，且$\Vert x\Vert =0$当且仅当$x=0$
2. 对任意实数$\alpha$，都有$\Vert \alpha x\Vert =|\alpha |\Vert x\Vert$
3. 对任意$x,y\in R^n$，都有：
   $$\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$$

则称$\Vert x\Vert$为向量$x$的范数

按照定义2.1，向量$x$的范数的具体形式可以有多种，常用的有以下三种：

1. 2-范数（向量的模）：
   $$\Vert x{\Vert }_2=\sqrt{x_1^2+x_2^2+\cdots +x_n^2}(2-33)$$
2. 1-范数：
   $$\Vert x{\Vert }_1=\sum _{i=1}^n|x_i|(2-34)$$
3. $\infty$-范数：
   ∥ x ∥ ∞ = max ⁡ 1 ≤ i ≤ n { ∣ x i ∣ } ( 2 − 35 ) \Vert x\Vert_{\infty}=\max\limits_{1\le i\le n}\{|x_i|\}\quad\quad\quad(2-35) ∥x∥∞​=1≤i≤nmax​{∣xi​∣}(2−35)

如果$R^n$中有两个范数$\Vert \cdot \Vert$和$\Vert \cdot {\Vert }^{\prime }$，存在实数$n,M>0$，使得对任意$n$维向量$x$，都有：

$$m\Vert x\Vert \le \Vert x{\Vert }^{\prime }\le M\Vert x\Vert$$

待补充 42

矩阵的范数

向量是特殊的矩阵，矩阵是推广了的向量。矩阵满足线性空间的8条性质（？），所以我们可以说矩阵是线性空间。同样的我们也可以验证向量也满足线性空间的要求（？），这是矩阵和向量的共性。在Kronecker积那节中（？）介绍了Vector转化的概念。$m\times n$维矩阵可以转化成$m\times n$维空间的向量。因此在学习过程中可以将矩阵和向量结合起来学习。

不要忘记，引入范数的目的是为了进行度量。就如同内积的概念一样。所有的向量空间都可以定义内积空间（？），引入内积不是目的，引入内积之后，就可以引入夹角长度等概念。这个空间就变得可以度量了。

额外说一点，并不是只有线性空间才有范数的定义，任意空间都可以引进范数（这样的空间我们称为赋范空间），使得这个空间可以被度量。如希尔伯特空间等。

定义2.2

对任意$n$阶方阵$A$，按一定的规则有一实数与之对应，记为$\Vert A\Vert$，若$\Vert A\Vert$满足：

1. 正定性：$\Vert A\Vert \ge 0$，且$\Vert A\Vert =0$当且仅当$A=0$
2. 齐次性：对任意实数$\alpha$，都有$\Vert \alpha A\Vert =|\alpha |\Vert A\Vert$
3. 三角不等式：对任意两个$n$阶方阵$A,B$，都有
   $$\Vert A+B\Vert \le \Vert A\Vert +\Vert B\Vert$$
4. $\Vert AB\Vert \le \Vert A\Vert \cdot \Vert B\Vert$（相容性条件）

则称$\Vert A\Vert$为矩阵$A$的范数

这里$(1)\sim (3)$是向量范数定义的直接推广，条件（4）则使矩阵范数在数值计算中使用更为方便

定理2.5

设$A$为$n$阶方阵，$\Vert \cdot \Vert$是$R^n$中的向量范数，则：

$$\Vert A\Vert =\underset{x\ne 0}{\max }\frac{\Vert Ax\Vert }{\Vert x\Vert }$$

是一种矩阵范数，称其为由向量范数$\Vert \cdot \Vert$诱导出的矩阵范数，也称算子范数。

由定理2.5的证明知，由向量范数诱导出的矩阵范数除满足定义2.2中的$(1)\sim (4)$外，还满足性质

5. 对任意$n$维向量$x$，都有$\Vert Ax\Vert \le \Vert A\Vert \Vert x\Vert$

这一性质称为矩阵范数与向量范数的相容性，在误差分析中经常会用到。

常用的矩阵范数有四种，前三种是由向量的1-范数、2-范数、$\infty$-范数诱导出的矩阵范数。设$A=(a_{ij})$为$n$阶方阵：

待补充 44

4.2 方程组的状态与条件数

一个实际问题转化为数学问题，初始数据往往会有误差，即有扰动，从而使计算结果产生误差，因此需要研究扰动对解的影响。

待补充 45

当一个方程组，由于系数矩阵或右端项的微小扰动，而引起解发生巨大变化时，称该方程组是“病态”的。为了定量刻画方程组“病态”的程度，下面对方程组$Ax=b$就系数矩阵或右端项分别有扰动的两种情形进行讨论。

首先考虑右端项$b$的扰动对解的影响。设$b$有扰动$\delta b$，相应的解$x$的扰动记为$\delta x$，即：

$$A(x+\delta x)=b+\delta b$$

由$Ax=b$，得$A\delta x=\delta b$，从而有：

$$\delta x=A^{-1}\delta b$$

两边取范数，得：

$$\Vert \delta x\Vert =\Vert A^{-1}\delta b\Vert \le \Vert A^{-1}\Vert \Vert \delta b\Vert$$

又因为

$$\Vert x\Vert >$$

五、超定线性方程组的最小二乘解

如果方程（2-1）中方程个数多于变量的个数，称之为超定线性方程组。这种方程组一般无精确解，只能在各种规定的意义下求它的广义解。

设有超定线性方程组：

$$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+...+a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+...+a_{2n}{x}_n=b_2\\ \dots \dots \dots \dots \dots \dots \\ a_{m1}{x}_1+a_{m2}{x}_2+...+a_{mn}{x}_n=b_m\end{array}(2-43)$$

其矩阵形式仍记为 $Ax=b$，其中 $A$ 为 $m\times n$ 阶矩阵，$x\in R^n,b\in R^m(m>n)$。

考虑方程组（2-43）在下述意义下求解：求 $x$，使得由它产生的每个方程的偏差 $(b_i-\sum _{j=1}^n{a}_{ij}{x}_j)$ 的平方和最小，即求问题：

$$\min F(x)=\sum _{i=1}^m(b_i-\sum _{j=1}^n{a}_{ij}{x}_j{)}^2=\Vert b-Ax{\Vert }_2^2(2-44)$$

的解。问题（2-44）称为线性最小二乘问题，其解称为问题（2-43）的最小二乘解。

由多元微分学，问题（2-44）的解必定是多元函数$F(x)$的驻点(?)。因为：

$$\begin{gathered} \frac{\partial F}{\partial x_k}=2\sum _{i=1}^m(b_i-\sum _{j=1}^n{a}_{ij}{x}_j)(-a_{ik}) \\ =-2\sum _{i=1}^m{a}_{ik}(b_i-\sum _{j=1}^n{a}_{ij}{x}_j)(k=1,2,\dots ,n) \end{gathered}$$

因此，求解问题（2-44）可转化为求解方程组：