【线性代数】矩阵的LU分解

矩阵的$LU$分解

参考资料：线代启示录 - https://ccjou.wordpress.com/2010/09/01/lu-%e5%88%86%e8%a7%a3/

1. 性质

对于$n$阶可逆矩阵$A$，若存在一个$n$阶下三角矩阵$L$和一个$n$阶上三角矩阵$U$，使得$A=LU$，则称$A$具有$LU$分解性质如下：

1. $l_{ii}=1,u_{ii}\ne 0$，$i=1,2,\cdots ,n$；
2. $U$是对$A$进行高斯消去法后的结果；
3. $L$的主对角线下方的元素$l_{ij}$记录了消元系数.

[例子]

$$A=\left[\begin{array}{ccc}3& -1& 2\\ 6& -1& 5\\ -9& 7& 3\end{array}\right]$$

使用高斯消去法，得到
$$A\stackrel{r_2+(-2)r_1}{\to }\left[\begin{array}{ccc}3& -1& 2\\ 0& 1& 1\\ -9& 7& 3\end{array}\right]\stackrel{r_3+3r_1}{\to }\left[\begin{array}{ccc}3& -1& 2\\ 0& 1& 1\\ 0& 4& 9\end{array}\right]\stackrel{r_3+(-4)r_2}{\to }\left[\begin{array}{ccc}3& -1& 2\\ 0& 1& 1\\ 0& 0& 5\end{array}\right]$$

根据上述性质2：$U$是对$A$进行高斯消去法后的结果，所以
$$U=\left[\begin{array}{ccc}3& -1& 2\\ 0& 1& 1\\ 0& 0& 5\end{array}\right].$$
根据性质3：$L$的主对角线下方的元素$l_{ij}$记录了消元系数，所以
$$L=\left[\begin{array}{ccc}1& 0& 0\\ 2& 1& 0\\ -3& 4& 1\end{array}\right].$$ 具体来说，有
$$l_{ij}=\frac{a_{ij}^{(k)}}{a_{kk}^{(k)}},i=k+1,k+2,\cdots ,n,j=k,k+1,\cdots ,n.$$ 其中$a_{ij}^{(k)}$是第$k$步消元后的第$i$行第$j$列元素，$a_{kk}^{(k)}$是第$k$步消元后的第$k$行第$k$列元素.

根据上述给出的$L$和$U$，可以验证$A=LU$

2. 存在性

不一定所有可逆矩阵$A$都存在$LU$分解. 若$A$的主元有$0$，则不存在$LU$分解. 一个例子是
$$A=\left[\begin{array}{cc}0& 2\\ 1& 3\end{array}\right].$$

这样的情况，可以通过行交换来解决. 行交换通过排列矩阵$P$实现. 这样得到的即为$PA=LU$分解.

3. 可逆矩阵$LU$分解存在的条件

若$A$可逆，则存在$A=LU$分解的充分条件是$A$的所有顺序主子式都不为$0$.

[证明]

用数学归纳法证明.

1. $n=1$时，$A_1=[a_{11}]$，$A_1$可逆，$a_{11}\ne 0$，$A_1=LU$，其中$L=1$，$U=[a_{11}]$.
2. 假设$n=k$时，$A_k$可逆，$A_k=L_k{U}_k$，其中$L_k$是单位下三角矩阵（主对角线为$1$），$U_k$是上三角矩阵.
3. $n=k+1$时，有$A_{k+1}=\begin{bmatrix}
   A_k & b \
   c^T & d
   \end{bmatrix}
   $.将其写成$LU$分解的形式，即
   $$\left[\begin{array}{cc}{A}_k& b\\ c^T& d\end{array}\right]=\left[\begin{array}{cc}{L}_k& 0\\ x^T& 1\end{array}\right]\left[\begin{array}{cc}{U}_k& y\\ 0& z\end{array}\right]=\left[\begin{array}{cc}{L}_k{U}_k& L_{k}y\\ x^T{U}_k& x^{T}y+z\end{array}\right]$$ 比较元素，有
   $$\{\begin{array}{l}{A}_k=L_k{U}_k\\ b=L_{k}y\\ c^T=x^T{U}_k\\ d=x^{T}y+z\end{array}\Rightarrow \{\begin{array}{l}y=L_k^{-1}b\\ x^T=c^T{U}_k^{-1}\\ z=d-c^T{U}_k^{-1}{L}_k^{-1}b=d-c^T{A}_k^{-1}b\end{array}.$$ 显然$L_{k+1}$是单位下三角矩阵，是可逆的. 由于$A_{k+1}=L_{k+1}{U}_{k+1}$中，$A_{k+1}$和$L_{k+1}$都是可逆的，所以$U_{k+1}$也是可逆的.

4. $LU$分解的唯一性

若$A$可逆，且其所有顺序主子式都不为$0$，则$A$的$LU$分解是唯一的.
可将$U$分解为对角阵$D$与上三角矩阵$U^{\prime }$，即$U=D{U}^{\prime }$（其中$D$的对角线元素为$U$的对角线元素），证明其唯一性. （即$LDU$分解）.

5. $LU$分解的应用

5.1 解线性方程组/计算逆矩阵

对于线性方程组$Ax=b$，可以通过$LU$分解来求解.

1. $Ax=b$，$A=LU$，则$LUx=b$，令$Ux=y$，则有$L\underset{=Ux}{\underbrace{y}}=b$，即$Ly=b$，解得$y$ （前代）；
2. 解得$y$后，再解$Ux=y$ （回代）.

对于矩阵$A$，可以通过$LU$分解来求逆矩阵.
求逆矩阵可以转化为求解线性方程组$AX=I$，其中$I$是单位矩阵.
其中$X=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]$，$x_i$是$A$的第$i$列. 即求解$n$个线性方程组$A{x}_i=e_i$，其中$e_i$是单位向量.

5.2 计算行列式

对于上三角或下三角矩阵，其行列式等于对角线元素的乘积.
所以，对于可逆矩阵$A$，有
$$\begin{array}{rl}\det (A)& =\det (LU)\\ & =\det (L)\det (U)\\ & =\prod _{i=1}^n{l}_{ii}\prod _{i=1}^n{u}_{ii}\\ & =\prod _{i=1}^n{u}_{ii}(\text{因为}{l}_{ii}=1)\end{array}.$$