目录
0 说明
笔记标题:MIT_LA_Lecture4-8
笔记版本:v1.0
对于文档的说明:
- 你可以在我的Github仓库中下载本笔记的Markdwon源文档文件或PDF文件,并通过浏览目录进行更方便高效地浏览;也欢迎在知乎文章中进行浏览。
- 本笔记参考的课程为MIT Linear Algebra(麻省理工线性代数),本课程在网易公开课、Bilibili和youtube等网站上都有视频资源,读者可以选择合适的平台观看。
- 本笔记并未完全按照视频课的内容记录,添加了许多自己的理解、资料的补充和顺序的调整。
- 本系列笔记在不断更新,已经发布的笔记也会偶尔进行内容更新,版本号可以在文件标题或说明的开头查看,你可以通过Github的commit信息来查看笔记更新内容。
- 笔者并没有学习过Latex,所以公式格式可能并不标准,希望理解。如果你对笔记内容有好的建议,请提出来,笔者在这里表示感谢。
对于内容的说明:
- 小写字母表示的向量,比如
,除非在特殊说明的情况下,都表示的是列向量。用来表示行向量。
- 部分矩阵中
.
用来表示元素省略,并不表示元素为0。 - 单位矩阵用
表示。
- m行n列矩阵在文中为了书写方便写了两种格式:
和,意思相同,希望包容这一小问题。
- 本文假定读着具有一定的线性代数基础。
4.1 矩阵的
为什么需要
在上一节中,我们知道通过高斯消元法可以容易地求解线性方程组,用矩阵表示即
我们先不考虑行的交换,观察
我们可以发现,E除了初等行变换信息(即E中的-3,-2两项),还多了一个额外信息-6,这个是我们不想要的信息,那么有没有只包含行变换信息的分解或等式呢?有,这就是我们即将介绍的LU分解。
LU分解
在线性代数与数值分析中,LU分解是矩阵分解的一种,将一个矩阵分解为一个 下三角矩阵和一个 上三角矩阵的乘积,有时需要再乘上一个 置换矩阵。LU分解可以被视为高斯消元法的矩阵形式。在数值计算上,LU分解经常被用来解线性方程组、且在求反矩阵和计算行列式中都是一个关键的步骤。
--维基百科
仍先不考虑行变换,LU分解简单地说就是
可以看到, L除了是下三角阵外,还包含且仅包含了矩阵行变换的所有信息。同时我们有以下结论:
这样,当我们通过高斯消元法变换矩阵后,就能立即写出
总之,对于
其他分解形式
除了上面给出的LU分解,有些矩阵还能进行PLU分解和LDU分解。
PLU 分解
方阵 A 的 PLU 分解是是将它分解成一个置换矩阵 P、一个下三角矩阵 L 与上三角矩阵 U 的乘积,即:
事实上,所有的方阵都可以写成 PLU 分解的形式,由于左乘排列矩阵
有时为了计算上的方便,会同时间换行与列的顺序,此时会将 A 分解成:
其中 P、L、U 同上,Q 是一个置换矩阵(这里是右乘以交换列)。
LDU 分解
方阵 A 的 LDU 分解是是将它分解成一个单位下三角矩阵 L、对角矩阵 D 与单位上三角矩阵 U 的乘积,即
其中单位上、下三角矩阵是指对角线上全是 1 的上、下三角矩阵。
事实上,LDU 分解可以推广到 A 是一般的矩阵,而非方阵。此时,L 和 D 是方阵,并且与 A 有相同的行,U 则有和 A 相同的长宽。注意到现在 U 是上三角的定义改为主对角线的下方都是 0,而主对角线是收集所有
我们将(3)中的A=LU分解再进一步化为LDU分解: