数值计算基础（二）线性方程解法篇

概要：介绍了1.直接法（高斯消去法、列主元消去法、LU分解、平方分解、平方分解改进、追赶法）2.迭代法（雅各比迭代、高斯赛德尔迭代、SOR迭代）求解方程3.迭代法收敛性

1.高斯消去法

用途：解方程
核心：
将矩阵直接化为上三角矩阵（注意系数不要化简，计算机无法实现）
解释
当高斯消元法进行第一步后,相当于用一个初等矩阵左乘A(1) 。不难看出，这个初等矩阵为

重复到最后


高斯消去法实质上产生了一个将A分解为两个三角形矩阵相乘的因式分解

2.列主元消去法

核心
1.n列矩阵从第1列依次排序到n-1列（排序按列的绝对值进行排序）
2.高斯消去形成上三角矩阵
优点
TO DO
例子

3.矩阵三角分解法

由高斯消元可以得到以下定理 成为LU定理 即秩不为零时，可分解为下三角阵和上三角阵的乘积
这一分解称为Doolittle（杜利脱尔）分解。

3.1直接三角分法或LU分解或杜利脱尔（Doolittle）分解法

适用范围：ALL（△!=0）
核心
L的主对角线是1 下三角
U上三角
例子

矩阵计算 卡西欧计算器方法

3.2平方根法和改进的平方根法（针对对称正定矩阵）

适用范围：对称正定矩阵
工程计算中线性方程组的系数矩阵常常具有 对称正定性其各阶顺序主子式及全部特征值均大于 0 。 矩阵的这一特性使它的三角分法具有更简单的形式 从而导出一些特殊的解法 。如平方根法和改进的平方根法 。
定理

这一分解又称为Cholesky（乔列斯基）分解
表达式
LL^TX=Ly

例题

改进
由于对角线不是1，不好看，我们操作一下

3方程
（1）

（2）

（3）
AX=b
推导出

得到y=L^-1b
x=(L^T)^-1D^-1y

3.3追赶法（针对三对角矩阵）

适用范围：这个样子的主对角线三对角矩阵

此系数矩阵的非零元素集中分布在主对角线及其相邻两条次对角线上，称为三对角矩阵。方程组称为三对角方程组。
定理
也就是每一行的主对角线占优+有三条数据均不为0的对角线

XY确定（方程为AX=d）

步骤
（1）

（2）

（3）

以下为迭代法解方程的方法

4.Jacobi 迭代法

步骤
将第i个方程转化为Xi的形式

例子

5.高斯-赛德尔（Gauss-Seidel）迭代法

例子

6.SOR迭代法

核心
在高斯赛德尔的基础上进行加权平均，值得注意的是此时括号内包含了第i项（相比于高斯赛德尔方法）

收敛方式

一般来说，需要ω的值大于1但不能过大此时收敛速度快
例子

之后用Excel或者编写函数迭代即可（有机会写）

3.迭代的收敛性

3.1前置知识

3.1.1范数

列范数（又称为1范数）
列的绝对值加和后取最大的那一个称为列范数

行范数（又称为无穷范数）
类似于上面的1范数

2范数

这里可以看这位老哥的文章（写了编程的相关函数）——求矩阵的1,和2范数

补充一点：最大特征值定义
最大特征值和特征向量求法
（这里不多介绍，我们是选修课，计算机计算估计用不上，暂时没实践，但应该是对的）MATLAB求解
（这里介绍一种在B乎上看到的方法，贼√8香）——原文链接
先求任意俩行向量的垂直向量1，再求这个垂直向量1与其中一个行向量的垂直向量2，没试过，但个人感觉好用
（最传统的方法就是这个线性代数书上的方法，初等行变换嘛，例子的话书上有，上面那个链接也有）

3.1.2迭代公式的矩阵形式

这个拆拆拆分没问题 （甘宁狂喜？你的牌太多了）

雅克比迭代法的矩阵形式

高斯赛德尔迭代法的矩阵形式

SOR迭代法的矩阵形式

三种迭代方法可统一写成

3.2迭代法收敛性

核心：
B的范数小于1

误差估计分别为事后估计和事前估计

3.3特殊线性方程组迭代收敛性

前置知识补充
严格对角占优（严格意味着没有等号）

例子

行弱对角占优

例子

可约矩阵

三种矩阵的收敛性快速判断
1.对于线性方程组 Ax=b，若A为按行（列） 严格对角占优矩阵或为不可约弱对角占优矩阵 ，则 A 为非奇异矩阵，且雅克比迭代与高斯赛德尔迭代法均收敛。
2.对于线性代数方程组 Ax=b ，若 A 为**对称正定矩阵则高斯 赛德尔迭代法收敛。
定理：
3.对于线性代数方程组 Ax=b，若 A 为对称正定矩阵并且 0< ω <2** 则 SOR 迭代法收敛。

最后总结一下：
放图————