2.5 矩阵因式分解（第2章矩阵代数）

主要内容

本节首先讲解了LU分解的意义：用来简化线性方程组的计算过程。接着，根据LU分解的形式，得出了求解LU分解的算法。

LU分解的形式和意义

矩阵$A$的因式分解是把$A$表示为两个或更多个矩阵的乘积。矩阵乘法是数据的综合（把两个或更多个线性变换的作用结合成一个矩阵），矩阵因式分解是数据分解。在计算机科学中，将$A$表示为矩阵的乘积对应于对$A$中数据的预处理过程，把这些数据分成两个或更多个部分，这种结构可能更有用，或者更便于计算。

现实中，有可能会求解一系列系数矩阵$A$相同，但$\mathbf{b}$不相同的线性方程：
$$A\mathbf{x}={\mathbf{b}}_1,A\mathbf{x}={\mathbf{b}}_2,...,A\mathbf{x}={\mathbf{b}}_p$$
如果能将$A$预处理为另一种形式，使得每次求解上述任意方程时的计算量减少，那么即使预处理会耗费一些精力，那也是值得的。LU分解就是这样一个预处理过程，通过LU分解，可以使得每一个形如$A\mathbf{x}=\mathbf{b}$的方程求解过程变得更为简单。

首先，设$A$是$m\times n$矩阵，它可以行化简为阶梯形而不必进行行对换（后面再考虑一般情形），则$A$可写成形式$A=LU$，$L$是$m\times m$下三角矩阵，主对角线元素全是$1$，$U$是$A$的一个$m\times n$阶梯形矩阵。 这样一个分解称为LU分解，矩阵$L$是可逆的，称为单位下三角矩阵。
$$A=\left[\begin{array}{cccc}1& 0& 0& 0\\ \ast & 1& 0& 0\\ \ast & \ast & 1& 0\\ \ast & \ast & \ast & 1\end{array}\right]\left[\begin{array}{ccccc}△& \ast & \ast & \ast & \ast \\ 0& △& \ast & \ast & \ast \\ 0& 0& 0& △& \ast \\ 0& 0& 0& 0& 0\end{array}\right]$$

一旦矩阵$A$可以写成$A=LU$的形式，方程$A\mathbf{x}=\mathbf{b}$可写成$L(U\mathbf{x})=\mathbf{b}$，把$U\mathbf{x}$写成$\mathbf{y}$，可以解下面一堆方程来求解$\mathbf{x}$：
$$\begin{array}{r}L\mathbf{y}=\mathbf{b}\\ U\mathbf{x}=\mathbf{y}\end{array}$$
首先解$L\mathbf{y}=\mathbf{b}$求得$\mathbf{y}$，然后解$U\mathbf{x}=\mathbf{y}$求得$\mathbf{x}$，由于$L$和$U$都是三角矩阵，因此每个方程都比较容易解。

例：

已知：
$$A=\left[\begin{array}{cccc}3& -7& -2& 2\\ -3& 5& 1& 0\\ 6& -4& 0& -5\\ -9& 5& -5& -12\end{array}\right]=\left[\begin{array}{cccc}1& 0& 0& 0\\ -1& 1& 0& 0\\ 2& -5& 1& 0\\ -3& 8& 3& 1\end{array}\right]\left[\begin{array}{cccc}3& -7& -2& 2\\ 0& -2& -1& 2\\ 0& 0& -1& 1\\ 0& 0& 0& -1\end{array}\right]=LU$$
应用$A$的LU分解来解$A\mathbf{x}=\mathbf{b}$，其中$b=\left[\begin{array}{c}-9\\ 5\\ 7\\ 11\end{array}\right]$

解：

解$L\mathbf{y}=\mathbf{b}$仅需6次乘法和6次加法(利用倍乘变换，将第一行利用倍乘变换加到第二、三、四行上，使得第一列主元下的元素都为零，需要三次乘法和三次加法，同理可以计算出处理第二列和第三列主元的运算次数)，因为这些运算仅需对第5列进行（在$L$的每个主元下的零会在行变换的选取中自动产生）。
$$\left[\begin{array}{cc}L& \mathbf{b}\end{array}\right]=\left[\begin{array}{ccccc}1& 0& 0& 0& -9\\ -1& 1& 0& 0& 5\\ 2& -5& 1& 0& 7\\ -3& 8& 3& 1& 11\end{array}\right]\sim \left[\begin{array}{ccccc}1& 0& 0& 0& -9\\ 0& 1& 0& 0& -4\\ 0& 0& 1& 0& 5\\ 0& 0& 0& 1& 1\end{array}\right]=\left[\begin{array}{cc}\mathbf{I}& \mathbf{y}\end{array}\right]$$
对$U\mathbf{x}=\mathbf{y}$，行化简的向后步骤需要4次除法、6次乘法和6次加法（例如，把$\left[\begin{array}{cc}U& \mathbf{y}\end{array}\right]$的第四列变成零需要对第四行做一次除法以使主元变为1，再做三次乘法和加法，以使得第四列上面的元素都变为零）。
$$\left[\begin{array}{cc}U& \mathbf{y}\end{array}\right]\left[\begin{array}{ccccc}3& -7& -2& 2& -9\\ 0& -2& -1& 2& -4\\ 0& 0& -1& 1& 5\\ 0& 0& 0& -1& 1\end{array}\right]\sim \left[\begin{array}{ccccc}1& 0& 0& 0& 3\\ 0& 1& 0& 0& 4\\ 0& 0& 1& 0& -6\\ 0& 0& 0& 1& -1\end{array}\right]$$
因此，$\mathbf{x}=\left[\begin{array}{c}3\\ 4\\ -6\\ -1\end{array}\right]$
为求$\mathbf{x}$，需要28次算术运算，不包括求$L$和$U$的运算在内。相反，$\left[\begin{array}{cc}A& \mathbf{b}\end{array}\right]$行化简为$\left[\begin{array}{cc}\mathbf{I}& \mathbf{x}\end{array}\right]$需要62次运算（由于存在大量非零元素需要参与运算）。

LU分解算法

设$A$可以化为阶梯形$U$，化简过程中仅用行倍加变换，即把一行的倍数加于它下面的另一行。这样，存在单位下三角初等矩阵$E_1,\cdots ,E_p$，使得：
$$E_p\cdots E_{1}A=U$$
于是，
$$A=(Ep\cdots E_1{)}^{-1}U=LU$$
其中，
$$L=(E_p\cdots E_1{)}^{-1}$$
注意上述过程中的行变换，它把$A$化为$U$，所以也把$L$化为$\mathbf{I}$，这是因为：
$$(E_p\cdots E_1)L=(E_p\cdots E_1)(E_p\cdots E_1{)}^{-1}=\mathbf{I}$$
这一点是构造$L$的关键。

下面是LU分解的算法：

1. 如果可能的话，用一系列的行倍加变换把$A$化为阶梯形$U$
2. 填充$L$的元素，使得相同的行变换把$L$变为$\mathbf{I}$

由于$(E_p\cdots E_1)L=\mathbf{I}$，于是，根据可逆矩阵定理，$L$是可逆的，$(Ep\cdots E_1)=L^{-1}$
例：

求下列矩阵的LU分解：
$$A=\left[\begin{array}{ccccc}2& 4& -1& 5& -2\\ -4& -5& 3& -8& 1\\ 2& -5& -4& 1& 8\\ -6& 0& 7& -3& 1\end{array}\right]$$

解：

因$A$有4行，故$L$应为$4\times 4$矩阵。$L$的第一列应该是$A$的第一列除以它的第一行主元元素：
$$L=\left[\begin{array}{cccc}1& 0& 0& 0\\ -2& 1& 0& 0\\ 1& \ast & 1& 0\\ -3& \ast & \ast & 1\end{array}\right]$$
比较$A$和$L$的第一列。把$A$的第一列的后三个元素变成零的行变换（这是将$A$化为$U$的第一阶段）同时也将$L$的第一列的后三个元素变成0（根据定义，$L$的主对角线元素均为$1$）。同样的道理对$L$的其他各列也是成立的。因此，一旦知道了将$A$化为$U$的过程，再根据$L$的主对角线元素均为$1$，以及将$A$化为$U$的过程和将$L$化为$\mathbf{I}$的过程是一致的，自然就能够推算出$L$中的各个元素。
下面是将$A$行化简为$U$的过程：
$$\begin{array}{rl}A& =\left[\begin{array}{ccccc}2& 4& -1& 5& -2\\ -4& -5& 3& -8& 1\\ 2& -5& -4& 1& 8\\ -6& 0& 7& -3& 1\end{array}\right]\\ & \sim \left[\begin{array}{ccccc}2& 4& -1& 5& -2\\ 0& 3& 1& 2& -3\\ 0& -9& -3& -4& 10\\ 0& 12& 4& 12& -5\end{array}\right]\\ & \sim \left[\begin{array}{ccccc}2& 4& -1& 5& -2\\ 0& 3& 1& 2& -3\\ 0& 0& 0& 2& 1\\ 0& 0& 0& 4& 7\end{array}\right]\\ & \sim \left[\begin{array}{ccccc}2& 4& -1& 5& -2\\ 0& 3& 1& 2& -3\\ 0& 0& 0& 2& 1\\ 0& 0& 0& 0& 5\end{array}\right]=U\end{array}$$
上式中标出的元素确定了将$A$化为$U$的行化简。在每个主元列，把标出的元素除以主元后将结果放入$L$：
$$L=\left[\begin{array}{cccc}1& 0& 0& 0\\ -2& 1& 0& 0\\ 1& -3& 1& 0\\ -3& 4& 2& 1\end{array}\right]$$

上述只讨论了没有行对换参与的情况。实际应用中，肯定会使用到行对换，这是完全可以做到的，但这里略去不详述。