02. 高斯消元

消元

考虑一个求解线性方程组问题，直接用矩阵表示

$$\begin{bmatrix}1 & 2 & 1 \\\ 3 & 8 & 1 \\\ 0 & 4 & 1\end{bmatrix} \begin{bmatrix}x \\\ y \\\ z \end{bmatrix} = \begin{bmatrix}2 \\\ 12 \\\ 2 \end{bmatrix}$$

对上式中的矩阵进行符号定义

$$A = \begin{bmatrix}1 & 2 & 1 \\\ 3 & 8 & 1 \\\ 0 & 4 & 1\end{bmatrix} \quad x = \begin{bmatrix}x \\\ y \\\ z \end{bmatrix} \quad b= \begin{bmatrix}2 \\\ 12 \\\ 2 \end{bmatrix}$$
对A进行消元
取A的第一行第一列作为主元进行消元，使得第一列除主元外其余元素均为0
$$\begin{bmatrix}1 & 2 & 1 \\\ 3 & 8 & 1 \\\ 0 & 4 & 1\end{bmatrix} \rightarrow \begin{bmatrix}1 & 2 & 1 \\\ 0 & 2 & -2 \\\ 0 & 4 & 1\end{bmatrix}$$
取第二行第二列作为主元，继续消元
$$\begin{bmatrix}1 & 2 & 1 \\\ 0 & 2 & -2 \\\ 0 & 4 & 1\end{bmatrix} \rightarrow \begin{bmatrix}1 & 2 & 1 \\\ 0 & 2 & -2 \\\ 0 & 0 & 5\end{bmatrix}$$

于是我们得到一个上三角矩阵，称为U

$$U =\begin{bmatrix}1 & 2 & 1 \\\ 0 & 2 & -2 \\\ 0 & 0 & 5\end{bmatrix}$$

使用上三角矩阵可以很方便地计算原方程组的解

消元矩阵

在上一篇文章中，我们知道一个矩阵乘一个列向量代表对矩阵的列向量的线性组合，类似的道理，一个行向量乘一个矩阵代表对矩阵的行向量的线性组合，也即

$$\begin{bmatrix} x & y \end{bmatrix} \begin{bmatrix}a & b \\\ c & d \end{bmatrix} = x\begin{bmatrix}a & b\end{bmatrix} +y\begin{bmatrix} c & d \end{bmatrix}$$
回想我们的第一个消元步骤
$$\begin{bmatrix}1 & 2 & 1 \\\ 3 & 8 & 1 \\\ 0 & 4 & 1\end{bmatrix} \rightarrow \begin{bmatrix}1 & 2 & 1 \\\ 0 & 2 & -2 \\\ 0 & 4 & 1\end{bmatrix}$$
我们希望用矩阵运算来表示这个步骤，也就是
$$\begin{bmatrix}a_1 & a_2 & a_3 \\\ b_1 & b_2 & b_3 \\\ c_1 & c_2 & c_3\end{bmatrix} \begin{bmatrix}1 & 2 & 1 \\\ 3 & 8 & 1 \\\ 0 & 4 & 1\end{bmatrix} = \begin{bmatrix}1 & 2 & 1 \\\ 0 & 2 & -2 \\\ 0 & 4 & 1\end{bmatrix}$$
式中的a，b，c为三个行向量，对上式拆分
$$\begin{bmatrix}a_1 & a_2 & a_3 \end{bmatrix} \begin{bmatrix}1 & 2 & 1 \\\ 3 & 8 & 1 \\\ 0 & 4 & 1\end{bmatrix} = \begin{bmatrix}1 & 2 & 1 \end{bmatrix}$$

$$\begin{bmatrix}b_1 & b_2 & b_3 \end{bmatrix} \begin{bmatrix}1 & 2 & 1 \\\ 3 & 8 & 1 \\\ 0 & 4 & 1\end{bmatrix} = \begin{bmatrix}0 & 2 & -2 \end{bmatrix}$$

$$\begin{bmatrix}c_1 & c_2 & c_3 \end{bmatrix} \begin{bmatrix}1 & 2 & 1 \\\ 3 & 8 & 1 \\\ 0 & 4 & 1\end{bmatrix} = \begin{bmatrix}0 & 4 & 1 \end{bmatrix}$$

下式正好是对矩阵的行向量的线性组合

$$\begin{bmatrix}a_1 & a_2 & a_3 \end{bmatrix} \begin{bmatrix}1 & 2 & 1 \\\ 3 & 8 & 1 \\\ 0 & 4 & 1\end{bmatrix} = \begin{bmatrix}1 & 2 & 1 \end{bmatrix}$$
显然要得到线性组合结果我们只需要矩阵的第一个行向量
于是
$$\begin{bmatrix}a_1 & a_2 & a_3 \end{bmatrix} = \begin{bmatrix}1 & 0 & 0 \end{bmatrix}$$
而对于下式
$$\begin{bmatrix}b_1 & b_2 & b_3 \end{bmatrix} \begin{bmatrix}1 & 2 & 1 \\\ 3 & 8 & 1 \\\ 0 & 4 & 1\end{bmatrix} = \begin{bmatrix}0 & 2 & -2 \end{bmatrix}$$
我们的消元步骤是取了-3个第一个行向量与1个第二个行向量，于是有
$$\begin{bmatrix}b_1 & b_2 & b_3 \end{bmatrix} =\begin{bmatrix}-3 & 1 & 0 \end{bmatrix}$$
类似的道理我们可以计算出c，我们将这一个消元步骤用矩阵运算来表示就是
$$\begin{bmatrix}1 & 0 & 0 \\\ -3 & 1 & 0 \\\ 1 & 0 & 0\end{bmatrix} \begin{bmatrix}1 & 2 & 1 \\\ 3 & 8 & 1 \\\ 0 & 4 & 1\end{bmatrix} = \begin{bmatrix}1 & 2 & 1 \\\ 0 & 2 & -2 \\\ 0 & 4 & 1\end{bmatrix}$$
使用 $E_{2,1}$来表示左边的消元矩阵，也就是说
$$E_{2,1}=\begin{bmatrix}1 & 0 & 0 \\\ -3 & 1 & 0 \\\ 1 & 0 & 0\end{bmatrix}$$
对于第二个消元步骤
$$\begin{bmatrix}1 & 2 & 1 \\\ 0 & 2 & -2 \\\ 0 & 4 & 1\end{bmatrix} \rightarrow \begin{bmatrix}1 & 2 & 1 \\\ 0 & 2 & -2 \\\ 0 & 0 & 5\end{bmatrix}$$
使用同样的方式计算消元矩阵
$$\begin{bmatrix} 1 & 0 & 0 \\\ 0 & 1 & 0 \\\ 0 & -2 & 1 \end{bmatrix} \begin{bmatrix}1 & 2 & 1 \\\ 0 & 2 & -2 \\\ 0 & 4 & 1\end{bmatrix} = \begin{bmatrix}1 & 2 & 1 \\\ 0 & 2 & -2 \\\ 0 & 0 & 5\end{bmatrix}$$
也即
$$E_{3,2}=\begin{bmatrix} 1 & 0 & 0 \\\ 0 & 1 & 0 \\\ 0 & -2 & 1 \end{bmatrix}$$

于是整个的消元过程就是$E_{3,2}(E_{2,1}A)$
并且矩阵运算满足结合律,也即$E_{3,2}(E_{2,1}A) = (E_{3,2}E_{2,1})A$
所以消元过程可理解为做了一次矩阵乘法