数值线性代数徐树方pdf_MIT线性代数4-8：矩阵分解，向量空间，列空间和零空间，线性方程组求解...

目录

0 说明

笔记标题：MIT_LA_Lecture4-8

笔记版本：v1.0

对于文档的说明：

1. 你可以在我的Github仓库中下载本笔记的Markdwon源文档文件或PDF文件，并通过浏览目录进行更方便高效地浏览；也欢迎在知乎文章中进行浏览。
2. 本笔记参考的课程为MIT Linear Algebra（麻省理工线性代数），本课程在网易公开课、Bilibili和youtube等网站上都有视频资源，读者可以选择合适的平台观看。
3. 本笔记并未完全按照视频课的内容记录，添加了许多自己的理解、资料的补充和顺序的调整。
4. 本系列笔记在不断更新，已经发布的笔记也会偶尔进行内容更新，版本号可以在文件标题或说明的开头查看，你可以通过Github的commit信息来查看笔记更新内容。
5. 笔者并没有学习过Latex，所以公式格式可能并不标准，希望理解。如果你对笔记内容有好的建议，请提出来，笔者在这里表示感谢。

对于内容的说明：

1. 小写字母表示的向量，比如
   ，除非在特殊说明的情况下，都表示的是列向量。用
   来表示行向量。
2. 部分矩阵中 . 用来表示元素省略，并不表示元素为0。
3. 单位矩阵用
   表示。
4. m行n列矩阵在文中为了书写方便写了两种格式：
   和
   ，意思相同，希望包容这一小问题。
5. 本文假定读着具有一定的线性代数基础。

4.1 矩阵的

分解

为什么需要

分解

在上一节中，我们知道通过高斯消元法可以容易地求解线性方程组，用矩阵表示即

，E为若干初等矩阵的积，包含了我们进行初等变换的所有信息，U为上三角矩阵（upper triangular）。我们以1中（6）的行变换为例，（6）中

，进行两次初等行变换即可得到一个上三角矩阵，也是一个阶梯型矩阵：

我们先不考虑行的交换，观察

：

我们可以发现，E除了初等行变换信息（即E中的-3，-2两项），还多了一个额外信息-6，这个是我们不想要的信息，那么有没有只包含行变换信息的分解或等式呢？有，这就是我们即将介绍的LU分解。

LU分解

在线性代数与数值分析中，LU分解是矩阵分解的一种，将一个矩阵分解为一个 下三角矩阵和一个 上三角矩阵的乘积，有时需要再乘上一个 置换矩阵。LU分解可以被视为高斯消元法的矩阵形式。在数值计算上，LU分解经常被用来解线性方程组、且在求反矩阵和计算行列式中都是一个关键的步骤。
--维基百科

仍先不考虑行变换，LU分解简单地说就是

，同样写出上例的LU分解式：

可以看到， L除了是下三角阵外，还包含且仅包含了矩阵行变换的所有信息。同时我们有以下结论：

这样，当我们通过高斯消元法变换矩阵后，就能立即写出

这种分解形式，对

消元的过程和结果进行完整地记录，而不需要额外去计算

，我们写出 L 就相当于记录了 E ，因为

。

总之，对于

，如果不存在行交换，消元乘数（消元步骤中需要乘以并减去的倍数）可以直接写入L中。因此可以这样看待消元，只要步骤正确，就可以在得到LU的过程中把A抛开，这是对矩阵形式进行消元的更深刻的认识。

其他分解形式

除了上面给出的LU分解，有些矩阵还能进行PLU分解和LDU分解。

PLU 分解

方阵 A 的 PLU 分解是是将它分解成一个置换矩阵 P、一个下三角矩阵 L 与上三角矩阵 U 的乘积，即:

事实上，所有的方阵都可以写成 PLU 分解的形式，由于左乘排列矩阵

是在交换行的顺序（也就是后面即将说到的置换矩阵），所以由

推得适当的交换 A 的行的顺序，即可将 A 做 LU 分解。事实上，PLU 分解有很高的数值稳定性，因此实用上是很好用的工具。

有时为了计算上的方便，会同时间换行与列的顺序，此时会将 A 分解成:

其中 P、L、U 同上，Q 是一个置换矩阵（这里是右乘以交换列）。

LDU 分解

方阵 A 的 LDU 分解是是将它分解成一个单位下三角矩阵 L、对角矩阵 D 与单位上三角矩阵 U 的乘积，即

其中单位上、下三角矩阵是指对角线上全是 1 的上、下三角矩阵。

事实上，LDU 分解可以推广到 A 是一般的矩阵，而非方阵。此时，L 和 D 是方阵，并且与 A 有相同的行，U 则有和 A 相同的长宽。注意到现在 U 是上三角的定义改为主对角线的下方都是 0，而主对角线是收集所有

满足

。

我们将（3）中的A=LU分解再进一步化为LDU分解：