MIT线性代数笔记04-矩阵A的LU分解

Linear Algebra-Lecture04 矩阵A的LU分解

Gilbert Strang

矩阵乘积的逆

若 $\mathbf{A}$都逆矩阵存在，则$\mathbf{A}{\mathbf{A}}^{-1}=\mathbf{I}={\mathbf{A}}^{-1}\mathbf{A}$

若 $\mathbf{A}$与 $\mathbf{B}$的逆矩阵都存在，则 $(\mathbf{A}\mathbf{B}{)}^{-1}={\mathbf{B}}^{-1}{\mathbf{A}}^{-1}$
解释：$(\mathbf{A}\mathbf{B}){\mathbf{B}}^{-1}{\mathbf{A}}^{-1}=\mathbf{A}(\mathbf{B}{\mathbf{B}}^{-1}){\mathbf{A}}^{-1}=\mathbf{I}$，因此$\mathbf{A}\mathbf{B}$的逆矩阵为${\mathbf{B}}^{-1}{\mathbf{A}}^{-1}$。

转置的逆

$\mathbf{A}{\mathbf{A}}^{-1}=\mathbf{I}\Rightarrow (\mathbf{A}{\mathbf{A}}^{-1}{)}^{\mathbf{T}}={\mathbf{I}}^{\mathbf{T}}\Rightarrow ({\mathbf{A}}^{-1}{)}^{\mathbf{T}}{\mathbf{A}}^{\mathbf{T}}=\mathbf{I}$，因此，${\mathbf{A}}^{\mathbf{T}}$的逆为$({\mathbf{A}}^{-1}{)}^{\mathbf{T}}$，即$({\mathbf{A}}^{\mathbf{T}}{)}^{-1}=({\mathbf{A}}^{-1}{)}^{\mathbf{T}}$，换句话说，对于单个矩阵而言，转置和逆两种运算，其顺序可以颠倒。

LU分解

设$\mathbf{A}=\left[\begin{array}{cc}2& 1\\ 8& 7\end{array}\right]$，用初等矩阵${\mathbf{E}}_{21}=\left[\begin{array}{cc}1& 0\\ -4& 1\end{array}\right]$进行行变换，可得到上三角矩阵$\mathbf{U}=\left[\begin{array}{cc}2& 1\\ 0& 3\end{array}\right]$.
$$\begin{array}{cccc}{\mathbf{E}}_{21}& \mathbf{A}& =& \mathbf{U}\\ \left[\begin{array}{cc}1& 0\\ -4& 1\end{array}\right]& \left[\begin{array}{cc}2& 1\\ 8& 7\end{array}\right]& =& \left[\begin{array}{cc}2& 1\\ 0& 3\end{array}\right]\end{array}$$

$$\begin{array}{ccccc}\mathbf{A}& =& \mathbf{L}& \mathbf{U}& \\ \left[\begin{array}{cc}2& 1\\ 8& 7\end{array}\right]& =& \left[\begin{array}{cc}1& 0\\ 4& 1\end{array}\right]& \left[\begin{array}{cc}2& 1\\ 0& 3\end{array}\right]& \\ & & & & \\ & =& \left[\begin{array}{cc}1& 0\\ 4& 1\end{array}\right]& \left[\begin{array}{cc}2& 0\\ 0& 3\end{array}\right]& \left[\begin{array}{cc}1& \frac{1}{2}\\ 0& 1\end{array}\right]\end{array}$$
此处U(Upper)表示上三角矩阵，L(Lower)表示下三角矩阵。

对于$3\times 3$的矩阵$A$，在没有行交换的情况下：
$$\begin{array}{c}{\mathbf{E}}_{32}{\mathbf{E}}_{31}{\mathbf{E}}_{21}\mathbf{A}=\mathbf{U}\\ \\ \mathbf{A}={\mathbf{E}}_{21}^{-1}{\mathbf{E}}_{31}^{-1}{\mathbf{E}}_{32}^{-1}\mathbf{U}\end{array}$$

这里计算$\mathbf{L}={\mathbf{E}}_{21}^{-1}{\mathbf{E}}_{31}^{-1}{\mathbf{E}}_{32}^{-1}$比计算$({\mathbf{E}}_{32}{\mathbf{E}}_{31}{\mathbf{E}}_{21}{)}^{-1}$要简单，如果没有行交换，可将消元乘数直接写入L中。可以在得到LU的过程中把A抛开。不妨设：
$$\mathbf{A}=\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 3& 4& 1\end{array}\right]$$

${\mathbf{E}}_{21}=\left[\begin{array}{ccc}1& 0& 0\\ \boxed{-3}& 1& 0\\ 0& 0& 1\end{array}\right]$，${\mathbf{E}}_{31}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ \boxed{-3}& 0& 1\end{array}\right]$，${\mathbf{E}}_{32}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& \boxed{1}& 1\end{array}\right]$，消元乘数分别为3，3，-1 。

易得：$({\mathbf{E}}_{21}{)}^{-1}=\left[\begin{array}{ccc}1& 0& 0\\ 3& 1& 0\\ 0& 0& 1\end{array}\right]$，$({\mathbf{E}}_{31}{)}^{-1}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 3& 0& 1\end{array}\right]$，$({\mathbf{E}}_{32}{)}^{-1}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& -1& 1\end{array}\right]$

可以算出：$\mathbf{L}={\mathbf{E}}_{21}^{-1}{\mathbf{E}}_{31}^{-1}{\mathbf{E}}_{32}^{-1}=\left[\begin{array}{ccc}1& 0& 0\\ \boxed{3}& 1& 0\\ \boxed{3}& \boxed{-1}& 1\end{array}\right]$

消元算法的复杂度$\text{O}(n)$

假设有一$n\times n$的方阵$\mathbf{A}$，其中没有0，完成消元需要多少步？

第一步：将主元一下方全变成0，需要进行约$n^2$次乘法和加法；
第二步：将主元二下方全变乘0，需要进行约$(n-1{)}^2$次乘法和加法；
第三步：将主元三下方全变乘0，需要进行约$(n-3{)}^2$次乘法和加法；
$\cdots$
最后一步：将主元n-1下方全变乘0，需要进行约1次乘法和加法；
所以消元所需要进行的步骤数约为$s=\sum _{i=0}^n{i}^2\approx \frac{1}{3}{n}^3$ 。
因此，$\text{O}(n)=n^3$

转置与置换

考虑所有${\mathbf{A}}_{3\times 3}$的置换矩阵：
$\mathbf{I}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$

${\mathbf{P}}_2=\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 0\\ & 0& 1\end{array}\right]$，表示置换1，2行。得到该矩阵的方法只需将单位矩阵1，2行互换即可。
除此之外，还有$\left[\begin{array}{ccc}0& 0& 1\\ 0& 1& 0\\ 1& 0& 0\end{array}\right]$，$\left[\begin{array}{ccc}1& 0& 0\\ 0& 0& 1\\ 0& 1& 0\end{array}\right]$，$\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}\right]$
，$\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]$，总共有$A_3^3$种置换矩阵，同理，若为n阶方阵，总的置换矩阵（包括单位阵），共有$A_n^n$个。

不难发现，将任意两个置换矩阵相乘，结果仍在置换矩阵群中，并且每个置换矩阵的逆是其自身的转置。

---

课程资源

• 主课：bilibli、网易公开课都可以搜到，关键字（麻省理工，线性代数）
• 配套习题课：bilibli可以搜到，关键字（麻省理工，线性代数，陈莉楠）
• 教材：Gilbert Strang.Introduction to Linear Algebra
• 课程官网：http://web.mit.edu/18.06
  \qquad\qquad https://mitmath.github.io/1806/