线性代数 - 线性方程组的 LU 分解解法

线性代数 - 线性方程组的 LU 分解解法

flyfish

线性代数 - 线性方程组的原始解法（高斯消元法）
线性代数 - LU分解（LU-Factorization、LU Decomposition）

线性方程组

$$\text{方程组：}\{\begin{array}{l}2x_1+x_2+x_3=1(1)\\ 4x_1+3x_2+3x_3=2(2)\\ 8x_1+7x_2+9x_3=6(3)\end{array}\text{即}\mathbf{Ax}=\mathbf{b},\mathbf{A}=\left[\begin{array}{ccc}2& 1& 1\\ 4& 3& 3\\ 8& 7& 9\end{array}\right],\mathbf{b}=\left[\begin{array}{c}1\\ 2\\ 6\end{array}\right]$$

LU分解

原始矩阵 $\mathbf{A}=\left[\begin{array}{ccc}2& 1& 1\\ 4& 3& 3\\ 8& 7& 9\end{array}\right]$

一、LU分解目标

将方阵$\mathbf{A}$分解为两个特殊矩阵的乘积：
$\mathbf{L}$：单位下三角矩阵（主对角线元素全为1，主对角线以上元素全为0，仅下方有非零元素）；
$\mathbf{U}$：上三角矩阵（主对角线以下元素全为0，仅主对角线及上方有非零元素）；
最终满足 $\mathbf{A}=\mathbf{LU}$。

二、步骤1：初始化$\mathbf{L}$和$\mathbf{U}$

初始化$\mathbf{L}$：因$\mathbf{A}$是3阶矩阵，$\mathbf{L}$为3阶单位下三角矩阵（对角线填1，其余位置先填0）：
$$\mathbf{L}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
初始化$\mathbf{U}$：将$\mathbf{A}$的元素直接复制到$\mathbf{U}$中（后续通过消元逐步修改$\mathbf{U}$，使其成为上三角矩阵）：
$$\mathbf{U}=\left[\begin{array}{ccc}2& 1& 1\\ 4& 3& 3\\ 8& 7& 9\end{array}\right]$$

三、步骤2：第一阶段消元——消去$\mathbf{U}$第2、3行的“第1列元素”（消去$x_1$的系数）

目标：让$\mathbf{U}$第2行第1列、第3行第1列的元素变为0（主对角线下方第1列全为0），同时将“消元用的倍数”记录到$\mathbf{L}$的对应位置。

1. 处理$\mathbf{U}$的第2行（消去第2行第1列元素）

• 确定主元：$\mathbf{U}$第1行第1列的元素 $u_{11}=2$（主元是消元的“基准”，需非零）。
• 计算消元倍数$k$：要让$\mathbf{U}$第2行第1列的元素（当前为4）变为0，需用“第2行 = 第2行 - $k\times$第1行”，其中：
  $$k=\frac{\text{U第2行第1列元素}}{\text{主元}{u}_{11}}=\frac{4}{2}=2$$
• 记录倍数到$\mathbf{L}$：这个$k=2$是“用第1行消第2行”的倍数，对应$\mathbf{L}$的“第2行第1列”（因$\mathbf{L}$的$l_{ij}$表示“用第j行消第i行的倍数”，此处$i=2,j=1$），因此更新$\mathbf{L}$：
  $$\mathbf{L}=\left[\begin{array}{ccc}1& 0& 0\\ \boxed{2}& 1& 0\\ 0& 0& 1\end{array}\right]$$
• 更新$\mathbf{U}$第2行：按“第2行 = 第2行 - 2×第1行”逐元素计算：
  • 第2行第1列：$4-2\times 2=0$（目标达成，变为0）；
  • 第2行第2列：$3-2\times 1=1$；
  • 第2行第3列：$3-2\times 1=1$；
    因此，$\mathbf{U}$更新为：
    $$\mathbf{U}=\left[\begin{array}{ccc}2& 1& 1\\ \boxed{0}& 1& 1\\ 8& 7& 9\end{array}\right]$$

2. 处理$\mathbf{U}$的第3行（消去第3行第1列元素）

• 仍用主元$u_{11}=2$：要让$\mathbf{U}$第3行第1列的元素（当前为8）变为0。
• 计算消元倍数$k$：
  $$k=\frac{\text{U第3行第1列元素}}{\text{主元}{u}_{11}}=\frac{8}{2}=4$$
• 记录倍数到$\mathbf{L}$：此$k=4$是“用第1行消第3行”的倍数，对应$\mathbf{L}$的“第3行第1列”（$i=3,j=1$），更新$\mathbf{L}$：
  $$\mathbf{L}=\left[\begin{array}{ccc}1& 0& 0\\ 2& 1& 0\\ \boxed{4}& 0& 1\end{array}\right]$$
• 更新$\mathbf{U}$第3行：按“第3行 = 第3行 - 4×第1行”逐元素计算：
  • 第3行第1列：$8-4\times 2=0$（目标达成，变为0）；
  • 第3行第2列：$7-4\times 1=3$；
  • 第3行第3列：$9-4\times 1=5$；
    因此，$\mathbf{U}$更新为：
    $$\mathbf{U}=\left[\begin{array}{ccc}2& 1& 1\\ 0& 1& 1\\ \boxed{0}& 3& 5\end{array}\right]$$

第一阶段消元后状态：
$\mathbf{L}=\left[\begin{array}{ccc}1& 0& 0\\ 2& 1& 0\\ 4& 0& 1\end{array}\right]$，$\mathbf{U}$第1列下方全为0（已完成第1列消元）。

四、步骤3：第二阶段消元——消去$\mathbf{U}$第3行的“第2列元素”（消去$x_2$的系数）

目标：让$\mathbf{U}$第3行第2列的元素变为0（主对角线下方第2列全为0），此时$\mathbf{U}$将成为上三角矩阵。

1. 处理$\mathbf{U}$的第3行

• 确定新主元：$\mathbf{U}$第2行第2列的元素 $u_{22}=1$（因第1列已消完，当前消第2列，主元为第2行第2列）。
• 计算消元倍数$k$：要让$\mathbf{U}$第3行第2列的元素（当前为3）变为0，需用“第3行 = 第3行 - $k\times$第2行”，其中：
  $$k=\frac{\text{U第3行第2列元素}}{\text{主元}{u}_{22}}=\frac{3}{1}=3$$
• 记录倍数到$\mathbf{L}$：此$k=3$是“用第2行消第3行”的倍数，对应$\mathbf{L}$的“第3行第2列”（$i=3,j=2$），更新$\mathbf{L}$：
  $$\mathbf{L}=\left[\begin{array}{ccc}1& 0& 0\\ 2& 1& 0\\ 4& \boxed{3}& 1\end{array}\right]$$
• 更新$\mathbf{U}$第3行：按“第3行 = 第3行 - 3×第2行”逐元素计算：
  • 第3行第2列：$3-3\times 1=0$（目标达成，变为0）；
  • 第3行第3列：$5-3\times 1=2$；
    （第3行第1列已为0，无需计算）
    因此，$\mathbf{U}$最终更新为上三角矩阵：
    $$\mathbf{U}=\left[\begin{array}{ccc}2& 1& 1\\ 0& 1& 1\\ 0& \boxed{0}& 2\end{array}\right]$$

第二阶段消元后状态：
$\mathbf{L}$是完整的单位下三角矩阵，$\mathbf{U}$是完整的上三角矩阵，LU分解初步完成。

五、步骤4：验证分解正确性——证明$\mathbf{A}=\mathbf{LU}$

通过矩阵乘法计算$\mathbf{LU}$，看结果是否等于原始矩阵$\mathbf{A}$。

矩阵乘法规则：$\mathbf{L}$的第$i$行 × $\mathbf{U}$的第$j$列 = 结果矩阵的第$i$行第$j$列元素（对应元素相乘再相加）。

1. 计算$\mathbf{LU}$的第1行

$\mathbf{L}$第1行：$[1,0,0]$ × $\mathbf{U}$各列：

• 第1行第1列：$1\times 2+0\times 0+0\times 0=2$；
• 第1行第2列：$1\times 1+0\times 1+0\times 0=1$；
• 第1行第3列：$1\times 1+0\times 1+0\times 2=1$；
  结果第1行：$[2,1,1]$（与$\mathbf{A}$第1行一致）。

2. 计算$\mathbf{LU}$的第2行

$\mathbf{L}$第2行：$[2,1,0]$ × $\mathbf{U}$各列：

• 第2行第1列：$2\times 2+1\times 0+0\times 0=4$；
• 第2行第2列：$2\times 1+1\times 1+0\times 0=3$；
• 第2行第3列：$2\times 1+1\times 1+0\times 2=3$；
  结果第2行：$[4,3,3]$（与$\mathbf{A}$第2行一致）。

3. 计算$\mathbf{LU}$的第3行

$\mathbf{L}$第3行：$[4,3,1]$ × $\mathbf{U}$各列：

• 第3行第1列：$4\times 2+3\times 0+1\times 0=8$；
• 第3行第2列：$4\times 1+3\times 1+1\times 0=7$；
• 第3行第3列：$4\times 1+3\times 1+1\times 2=4+3+2=9$；
  结果第3行：$[8,7,9]$（与$\mathbf{A}$第3行一致）。

六、最终分解结果

$$\mathbf{A}=\mathbf{LU}=\underset{\mathbf{L}（单位下三角矩阵）}{\underbrace{\left[\begin{array}{ccc}1& 0& 0\\ 2& 1& 0\\ 4& 3& 1\end{array}\right]}}\times \underset{\mathbf{U}（上三角矩阵）}{\underbrace{\left[\begin{array}{ccc}2& 1& 1\\ 0& 1& 1\\ 0& 0& 2\end{array}\right]}}$$

将系数矩阵 $\mathbf{A}=\left[\begin{array}{ccc}2& 1& 1\\ 4& 3& 3\\ 8& 7& 9\end{array}\right]$ 分解为 $\mathbf{L}=\left[\begin{array}{ccc}1& 0& 0\\ 2& 1& 0\\ 4& 3& 1\end{array}\right]$（单位下三角矩阵）和 $\mathbf{U}=\left[\begin{array}{ccc}2& 1& 1\\ 0& 1& 1\\ 0& 0& 2\end{array}\right]$（上三角矩阵）。

应用于方程组

接下来，我们用这两个矩阵求解原始线性方程组 $\mathbf{Ax}=\mathbf{b}$（其中 $\mathbf{b}=\left[\begin{array}{c}1\\ 2\\ 6\end{array}\right]$，方程组为 $\{\begin{array}{l}2x_1+x_2+x_3=1\\ 4x_1+3x_2+3x_3=2\\ 8x_1+7x_2+9x_3=6\end{array}$），分两步解三角方程组：先解 $\mathbf{Ly}=\mathbf{b}$，再解 $\mathbf{Ux}=\mathbf{y}$。

第一步：解下三角方程组 $\mathbf{Ly}=\mathbf{b}$（前向替换）

下三角矩阵的特点是“主对角线以下有元素，以上全为0”，因此从第一个未知数开始，逐个代入计算（前向替换）。

设 $\mathbf{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ y_3\end{array}\right]$，代入 $\mathbf{L}$ 和 $\mathbf{b}$ 得方程组：
$$\{\begin{array}{l}1\cdot y_1+0\cdot y_2+0\cdot y_3=1(1)\\ 2\cdot y_1+1\cdot y_2+0\cdot y_3=2(2)\\ 4\cdot y_1+3\cdot y_2+1\cdot y_3=6(3)\end{array}$$

计算过程：

1. 由方程(1)：$y_1=1$（直接得出，因为其他项系数为0）；
2. 代入方程(2)：$2\times 1+y_2=2⟹y_2=2-2=0$；
3. 代入方程(3)：$4\times 1+3\times 0+y_3=6⟹y_3=6-4=2$。

最终得到 $\mathbf{y}=\left[\begin{array}{c}1\\ 0\\ 2\end{array}\right]$。

第二步：解上三角方程组 $\mathbf{Ux}=\mathbf{y}$（后向替换）

上三角矩阵的特点是“主对角线以上有元素，以下全为0”，因此从最后一个未知数开始，反向代入计算（后向替换）。

设 $\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$，代入 $\mathbf{U}$ 和 $\mathbf{y}$ 得方程组：
$$\{\begin{array}{l}2\cdot x_1+1\cdot x_2+1\cdot x_3=1(4)\\ 0\cdot x_1+1\cdot x_2+1\cdot x_3=0(5)\\ 0\cdot x_1+0\cdot x_2+2\cdot x_3=2(6)\end{array}$$

计算过程：

1. 由方程(6)：$2x_3=2⟹x_3=1$（直接得出，其他项系数为0）；
2. 代入方程(5)：$x_2+1=0⟹x_2=0-1=-1$；
3. 代入方程(4)：$2x_1+(-1)+1=1⟹2x_1=1⟹x_1=0.5$（或 $\frac{1}{2}$）。

最终解与验证

方程组 $\mathbf{Ax}=\mathbf{b}$ 的解为：
$$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}0.5\\ -1\\ 1\end{array}\right]$$

验证（代入原方程组，确保正确）：

第一个方程：$2\times 0.5+(-1)+1=1-1+1=1$（与右边相等）；
第二个方程：$4\times 0.5+3\times (-1)+3\times 1=2-3+3=2$（与右边相等）；
第三个方程：$8\times 0.5+7\times (-1)+9\times 1=4-7+9=6$（与右边相等）。