矩阵计算-线性系统和 LU 分解

一、三角系统

……

二、高斯消元法

参考资料：麻省理工线性代数笔记（二）-高斯消元法 - 知乎 (zhihu.com)

1.高斯消元法求解线性方程组

先把系数矩阵消成上三角矩阵，再从下到上回代求解

第一步：第一个方程乘以-3加到第二个方程中，因为第三个方程本来就没有x项，不变，因此最终方程组变成：

第二步：第二个方程不动，第二个方程乘以-2加到第三个方程中，得到以下方程组：

第三步，Back substitution（后向回代）

肯定是先算第三个方程，得到z；然后把z的值回代到第二个方程，得到y值；最后把y,z值回代到第一个方程，从而得到x值。至此我们已用高斯消元法得到了方程组的解。

2. 用矩阵来表示高斯消元法过程

把方程组右边的向量放到矩阵竖线后面，称为增广矩阵。

其实大家可以看到，高斯消元法一直在做初等行变换！

仅有一个主元1,其余主元的位置均为0，此时高斯消元法失效，方程组可能有解，可能无解（此例无解），需要考察方程组右边的向量情况（后面会涉及）。

3. Elimination Matrices（消元矩阵）

回忆上面消元的过程，第一个方程乘以-3加到第二个方程中，写成相当于矩阵左乘一个消元矩阵：

左乘是行变换，右乘是列变换

需要在原矩阵左乘一系列的消元矩阵，得到最终的上三角形式。将这些消元矩阵乘在一起：

矩阵计算课程中PPT 2-1 P13：

Gauss Transformations

A matrix description of the zeroing process in Gaussian elimination 高斯消去过程中归零过程的矩阵描述。

Upper Triangularizing ：

找到一系列（n-1个）的高斯变换矩阵

Computation of L：

三、LU分解--直接三角分解法 求解线性方程Ax=b：

参考视频：【数值分析】矩阵LU三角分解| 速成讲解 考试宝典_哔哩哔哩_bilibili

令A=L·U，其中L是单位下三角矩阵（对角线上元素都是1），U是上三角矩阵。

无论矩阵A是多少，都有唯一的单位下三角矩阵L和上三角矩阵U，使得A可以分解为L·U。

由矩阵乘法可推出：

1.矩阵U的第一行元素等于矩阵A的第一行元素，即a1i=u1i，i=1,2……,n

2.矩阵L的第一列元素等于矩阵A的第一列元素除以u11，即li1=ai1/u11，i=1,2……,n

L是单位下三角矩阵 对角线上元素都是1，即lii=1 ，i=1,2……,n 

U是上三角矩阵。所以矩阵中的未知元素其实就不多了。

由于Ax=b即L·Ux=b

令Ly=b，Ux=y

第一步：首先根据A=L·U，可以很快推导出唯一的单位下三角矩阵L和唯一的上三角矩阵U

第二步：已知单位下三角矩阵L和向量b，根据Ly=b，很方便就求出y=(y1,y2,y3)^T

第三步：已知上三角矩阵U和向量y，根据Ux=y，很方便就求出x=(x1,x2,x3)

至此，线性方程求解完毕。

动手实操一下，就能清晰掌握了：

 第一步：根据A=L·U，推出矩阵L和U

第二步：根据Ly=b 求出y

第三步：根据Ux=y 求出x

向量x求解完毕。

四、部分选主元的 LU 分解

……

五、LDM 分解, 对称矩阵的 LDL 分解，正定矩阵的 Choleskey 分解

……

六、其他线性系统，如带状系统

……