解线性方程组的方法

1、解线性方程组的方法大致可以分为两类：直接方法和迭代法。直接方法是指假设计算过程中不产生舍入误差，经过有限次运算可求得方程组的精确解的方法；迭代法是从解的某个近似值出发，通过构造一个无穷序列去逼近精确解的方法。

2、消去法：

1. Gauss（高斯）消去法——是最基本的和最简单的直接方法，它由消元过程和回代过程构成，基本思想是：将方程组逐列逐行消去变量，转化为等价的上三角形方程组（消元过程）；然后按照方程组的相反顺序求解上三角形方程组，得到原方程组的解（回代过程）。
   优缺点：简单易行，但是要求主元均不为0，适用范围小，数值稳定性差。
2. 列主元素消去法——基本思想是在每次消元前，在要消去未知数的系数中找到绝对值大的系数作为主元，通过方程对换将其换到主对角线上，然后进行消元。
   优点：计算简单，工作量大为减少，数值稳定性良好，是求解中小型稠密线性方程组的最好方法之一。
3. 全主元素消去法——基本思想是在全体待选系数a(ij)^（k）中选取主元，并通过行与列的互换把它换到a(kk)^（k）的位置，进行消元。
   优缺点：这种方法的精度优于列主元素法，它对控制舍入误差十分有效，但是需要同时作行列变换，因而程序比较复杂，计算时间较长。

3、直接三角分解法：消元过程实际上是把系数矩阵A分解成单位下三角形矩阵与上三角形矩阵乘积的过程，其中L为单位下三角形矩阵，U为上三角形矩阵。这种分解过程称为杜利特尔（Doolittle分解)，也称为LU分解。当系数矩阵进行三角分解后，求解方程组Ax = b的问题就等价于求解两个三角形方程组Ly=b和Ux=y。

1. 矩阵的直接三角分解——设A为n阶方阵，若A的顺序主子式A(i)均不为0，则矩阵A存在唯一的LU分解；
2. 直接三角分解法——如果线性方程组Ax = b的系数矩阵已进行三角分解A=LU,则解方程组Ax=b等价于求解两个三角形方程组Ly=b和Ux=y；
3. 列主元素的三角分解法——设矩阵A非奇异，则存在置换矩阵P，使得PA有唯一的LU分解（即PA=LU），且|l(ij)|≤1；

4、排列阵：单位矩阵经过若干次行变换所得到的矩阵。

5、克劳特（Crout）分解：将矩阵A分解成一个下三角形矩阵L与一个单位上三角形矩阵U的乘积。

6、特殊矩阵的三角分解法：在工程实际计算中，如三次样条插值或用差分法求解常微分方程边值问题，导出的线性方程组的系数矩阵A常常是稀疏的三对角形矩阵或A是对称正定阵，使得A的三角分解也具有更简洁的形式。

1. 解三对角方程组的追赶法——三对角矩阵为非零元素集中分布在主对角线及其相邻的两条次对角线上的矩阵。
   
   设图中的系数矩阵A满足下列条件
   
   则A可唯一分解为
   

2. 平方根法（Cholesky分解法）——设A是正定矩阵，则存在唯一的非奇异下三角形矩阵L，使得A=LL^T ，且L的对角元素皆为正数。当矩阵A完成Cholesky分解后，求解方程组Ax=b就转化为依次求解方程组Ly = b，L^Tx = y。
   优缺点：无需选择主元，计算过程也是稳定的，数量级约是Gauss消去法的一半，在求L时需做n次开方运算，故而增加了计算量。

3. 改进平方根法（LDL^T法）——对称正定矩阵A又可以作如下分解，A=LDL^T ，其中L为单位下三角形矩阵，D为对角阵，记为
   
   平方根法与改进平方根法不仅计算量仅是Gauss消去法的一半，其数值稳定性也十分良好，是求解中小型稠密对称正定线性方程组的好方法。
   4.分块三角分解法——在求解微分方程数值解时，如果用差分法或有限元法离散微分方程，导出线性方程组往往是稀疏的，而且具有分块结构，这些稀疏性和分块性对于提高求解方程组的效率很有帮助。

7、向量范数：是衡量向量大小的度量概念，可以用来刻画Rⁿ 中向量序列的收敛性。

向量x的范数具体形式有很多，常用的有以下三种：
(1)2 - 范数（向量的模）

(2)1 - 范数

(3)∞ - 范数

8、范数等价定理：Rⁿ 中任意两种范数都是等价的。

9、矩阵范数：类似于向量范数的定义，可以定义n x n阶矩阵的范数。

常用的矩阵范数有四种，前三种是由向量的1-范数，2-范数，∞-范数诱导出的矩阵范数。设A = （a(ij)）为n阶方阵
(1)1 - 范数（列范数）

(2)∞ - 范数（行范数）

(3)2 - 范数（谱范数）

其中λ是矩阵A^TA的最大特征值

(4)F - 范数

10、设A^*是A的近似矩阵，||A - A^* ||，||A - A^* || / ||A||分别称为A^* 关于范数|| • ||的绝对误差和相对误差，并且由向量范数的等价性可得矩阵范数的等价性。

11、当一个方程组由于系数矩阵或右端项的微小搅动，而引起解发生巨大变化时，称该方程组是“病态”的。当系数矩阵或右端项有搅动时，数 ||A|| ||A^-1 || 控制解的搅动程度，，也就是说该数可以反映方程组的状态。把这个数称为矩阵A的条件数，记为cond(A) = ||A|| ||A^-1 ||。
最常用的条件数如下：

12、条件数的性质：
（1）对任意n阶方阵A，都有cond(A)≥1；
（2）对任意非零实数α，有cond(αA)=cond(A)；
（3）若A为正交矩阵，cond(A)(2)=1。

13、误差分析：求得方程组Ax = b的一个近似解x^* 后，通常用残量（余量）r = b - Ax^* 或其模||r||的大小来检验近似解x^* 的精确程度。

14、如果方程组中方程个数多于变量个数，称为超定线性方程组，这种方程组一般无精确解，只能在规定意义下求广义解。如果A（mxn阶且m>n）列满秩，即rank（A）= n，则A^TA是一个对称正定矩阵，因而正则方程组A^TAx=A^Tb存在唯一解，其解为超定线性方程组的最小二乘解。

15、迭代法的基本思想是构造一串收敛到解的序列，即建立一种从已有近似解计算到新的近似解的规则，由这些不同的计算规则得到不同的迭代法。

16、迭代法的一般形式（单步定常线性迭代法）：对线性方程组Ax = b，，其中A为nxn阶非奇异矩阵，b=(b1,…,bn)^T。构造其形如x = Mx + g的同解方程组，其中M为n阶方阵，g∈Rⁿ。任取初始向量x⁽⁰⁾∈Rⁿ，代入迭代公式x^(k+1) = Mx^(k) + g（k=0，1，2，…）产生向量序列{x^(k)}，当k充分大时，以x^(k)作为方程的近似解，其中M称为迭代矩阵。

17、向量序列的收敛性：

• 设{x^(k)}为Rⁿ中的向量序列，x∈Rⁿ,如果
  
  其中|| • ||是向量范数，则称{x^(k)}收敛于x,记为
  
  n维点列收敛的等价描述是其对应的坐标序列均收敛，向量序列也类似。
• Rⁿ中的向量序列{x^(k)}收敛于Rⁿ中的向量x的充要条件是
  

18、矩阵序列的收敛性：由向量序列的收敛性可以定义矩阵序列的收敛性。

• 设{A^(k)}为n阶方阵序列，A为n阶方阵,如果，
  
  其中|| • ||是矩阵范数，则称序列{A^(k)}收敛于矩阵A，记为
  
• 设A^(k)=（a_ij^(k)）（k=1,2,…)，A =（a_ij）均为n阶方阵，则矩阵序列{A^(k)}收敛于矩阵A的充要条件为
  
  向量序列和矩阵序列的收敛可以归结为对应分量或对应元素序列的收敛。

19、雅可比（Jacobi）迭代法：

20、高斯-赛德尔（Gauss-Seidel）迭代法：

21、谱半径：设A为n阶方阵，λ_i（i=1,2,…,n）为A的特征值，称特征值模的最大值为矩阵A的谱半径，记为ρ(A)=max{ | λ_i | }，其中（λ_1,λ_2,…,λ_n）称为矩阵A的谱。由特征值定义知ρ(A^k)=[ρ(A)]^k。

22、迭代法的收敛条件相关定理：

• 设A为任意n阶方阵，|| • ||为任意由向量范数诱导出的矩阵范数，则ρ(A)≤|| A ||；
• 设A为n阶方阵，则对任意正数ε，存在一种矩阵范数|| • ||，使得|| A ||≤ρ(A) + ε；
• 设A为n阶方阵，则lim(k→∞)A^k=0的充要条件是ρ(A)<1；
• 对任意初始向量x⁽⁰⁾和右端项g，由迭代格式x^(k+1) =Mx^(k) + g，产生的向量序列{x^(k)}收敛的充要条件是ρ(M)<1；由此表明迭代法收敛与否只取决于迭代矩阵的谱半径，与初始向量及方程组的右端项无关。

23、若n阶方阵A=(a_ij)满足| a_ii | ≥ ∑ | a_ij |（j=1,j≠i），若至少有一个i值，使得上式中不等号严格成立，则称A为弱对角占优阵；若对所有i，上式中不等号均严格成立，则称A为严格对角占优阵。

• 若A为严格对角占优阵，则求解Ax=b的雅可比迭代法和高斯-赛德尔迭代法均收敛；
• 若A为对称正定阵，则求解Ax=b的高斯-赛德尔迭代法收敛。

24、误差估计：设有迭代格式x^(k+1) = Mx^(k) + g，若|| M || < 1，{x^(k)}收敛于x^*，则有误差估计式


在实际计算时，常常采用事后估计误差的方法，即利用相邻两次迭代值之差是否达到精度作为停机准则。