MIT18.06线性代数课程笔记4a：矩阵的LU分解

课程简介

18.06是Gilbert Strang教授在MIT开的线性代数公开课，课程视频以及相关资料请见https://ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm。

课程笔记

Strang先说了两个逆元的性质：$(AB)^{-1}=B^{-1}A^{-1}$以及$(A^T)^{-1}=(A^{-1})^T$。证明都很简单，直接验证$A^{-1}A=I$即可。

然后对高斯消元法做了矩阵化理解，从而引入$A=LU$分解，其中$U$是上三角矩阵。

1. 高斯消元法的矩阵化理解

如MIT18.06线性代数课程笔记3b：矩阵的逆元中所述，高斯消元法用于求解线性方程组$Ax=b$，通过把增广矩阵$\bar A=[A,b]$进行行变换使得$A$的部分变为上三角矩阵$U$，然后做反向代换即可对方程进行求解。其中行变换只有两种方法：1. 交换行$i$和行$j$的位置，变换矩阵$P_{ij}$　2. 从第$i$行减去第$j$行的$k$倍，目的是使得$ij$位置上为$0$，变换矩阵为$E_{ij}$。（其中$P$代表permutation，$E$代表elimination）$P_{ij}$很简单，就是交换单位阵的第$i$行和第$j$行，即

$$P_{nm}=\begin{cases} 1\text{ iff. }n=m \text{ and } n\neq i\text{ and }n\neq j\\ 1 \text{ iff. } n=i\text{ and }m=j\\ 1 \text{ iff. } n=j\text{ and }m=i\\0\text{ otherwise} \end{cases}$$

$E_{ij}$也很简单，即$[E_{ij}]_{ij}=-k, [E_{ij}]_{nn}=1$ for all $n=1,2,\cdots$

对矩阵做行变换等价于左乘变换矩阵。

综上高斯消元的结果是$EA=U$，其中$E$为$E_{ij}$和$P_{ij}$的乘积。

2. 对$E$的分析

在分析之前，先对$E$做一些限制：$E$中不包括行交换操作，即$E$为$E_{ij}$的乘积。

同时，因为$E$是从上向下的操作，所以$E_{ij}$的顺序是固定的，例如对于$A_{3\times 3}$，有$E=E_{32}E_{31}E_{21}$。

因为$E_{ij}$是为了使得$A'_{ij}$变为$0$，而变换的目标是使得$A$变为上三角矩阵$U$，故必然有$i>j$，所以$E_{ij}$必然是下三角矩阵，而下三角矩阵相乘依旧是下三角矩阵，故$E$也是下三角矩阵。但是$E$的一个不好性能是$E_{32}E_{31}E_{21}$中$E_{32}$的操作和$E_{21}$是耦合在一起的，即$E_{32}$是第$3$行减去第$2$行的倍数，而第二行的结果受$E_{21}$控制。

回忆最初的目的：对$A$做分解使得$A=LU$，而我们已知$EA=U$，故有$L=E^{-1}$。

若直接对$E$求逆，使用标准的求逆算法（Gauss-Jordan法），需要额外的$O(N^3)$时间。

3. 求解$A=LU$

这里就要用到前面所述的矩阵逆元的性质：$(AB)^{-1}=B^{-1}A^{-1}$.　例如上诉$A_{3\times 3}$的例子，我们有$E^{-1}=E_{21}^{-1}E_{31}^{-1}E_{32}^{-1}$。而对消除矩阵求逆的操作非常简单，直接对$[E_{ij}]_{ij}$取反，其他位置不变。进而求取$E^{-1}$等价于对$I$做一系列行变换。

进一步，记得我们对$E$做的限制：不包括行交换操作。于是将对$E^{-1}$的求导转换为一系列消除矩阵逆元的乘积还有一个好处：当我们依次（从右到左）执行消除矩阵逆元乘法的时候发现，我们是从下向上进行操作，每个操作之间都不耦合，$E^{-1}=E_{21}^{-1}+E_{31}^{-1}+E_{32}^{-1}-2I$。

具体地，计算$E^{-1}$的操作等价于：

$L=I$

for $i = n\cdots1$

​ for $j=i-1\cdots1$

​ $L=E_{ij}^{-1}L$ ，即$L$的第$i$行加上第$j$行

return $L$

分析循环体内的操作，$L$的第$i$行加上第$j$行$[E_{ij}]_{ij}$倍，而$j<i$，所以第$j$行没有改变，仍然是$I$的第$j$行，从而$L=E_{ij}^{-1}+L-I$。

综上，求解$L$的过程转换为对$[E_{ij}]_{ij}$取反相加的过程，每次的复杂度是$O(1)$，而最多有$O(N^2)$次消除操作，故最终求解$L$的复杂度为$O(N^2)$。

这里还可以分析一下高斯消元的复杂度，因为衡量单元是矩阵维度$N$，所以考虑缩减矩阵的操作数，最后再整合。缩减矩阵维度的标准是第$1$列只有第一行为$1$其他均为$0$，从而需要执行$N-1$次消元操作，而每次操作需要$O(N)$的乘法和减法，故有$T(N)=T(N-1)+O(N^2)$。将公式展开可得$T(N)=\sum_{i=1}^N i^2\approx N^3/3=O(N^3)$。所以高斯消元的整体复杂度是$O(N^3)$，进而$A=LU$分解也是$O(N^3)$。对于上诉级数求和，Strang说那个$1/3$的系数大致上是从对$N^3$求导得到$3N^2$中的 3 <script type="math/tex" id="MathJax-Element-111">3</script>得来，然后类比了级数求和和积分。