2 矩阵消元

本系列是为了重新学习理解线性代数听麻省理工公开课：线性代数所做的笔记.

1 由方程组化简到矩阵消元

考虑方程组

$$\left\{\begin{matrix} \quad x+2y+z=2\\ \quad3x+8y+z=12\\ \quad\quad\quad 4y+z=2 \end{matrix}\right.$$
把方程组写成矩阵形式 $$Ax=b$$
其中 $$A= \begin{pmatrix} 1 & 2 & 1\\ 3 & 8 & 1\\ 0 & 4 & 1 \end{pmatrix},\quad b= \begin{pmatrix} 2 \\ 12 \\2 \end{pmatrix},$$
我们联想一下 解三元一次方程组使用的消元法, 目的就是为了使得方程组中的某些方程式里面出现尽可能少的未知数,直到某一个方程只有一个未知数,此时方程便可以逐步求解了.

我们用一个矩阵的化简来抽象上面的方程消元步骤.

将A和b写到一起,称为增广矩阵(augmented matrix)

$$(A\quad | \quad b)= \begin{pmatrix} 1 & 2 & 1 & | &2\\ 3 & 8 & 1 & | &12\\ 0 & 4 & 1 & | &2 \end{pmatrix}$$
下面进行消元,
$$(A\quad | \quad b)= \begin{pmatrix} 1 & 2 & 1 & | &2\\ 3 & 8 & 1 & | &12\\ 0 & 4 & 1 & | &2 \end{pmatrix} \xrightarrow{row2-row1*3} \begin{pmatrix} 1 & 2 &1 & | &2\\ 0 & 2 & -2 & | &6 \\ 0 & 4 &1 & | & 2 \end{pmatrix} \xrightarrow{row3-row2*2} \begin{pmatrix} \boxed{1} & 2& 1 & | &2 \\ 0 & \boxed{2} & -2 & | & 6\\ 0 & 0 & \boxed{5} & | &-10 \end{pmatrix}.$$

写成方程组的形式

$$\left\{\begin{matrix} x+2y+ z=2\\ \quad\quad 2y-2z=6\\ \quad\quad\quad\quad \quad5z=-10 \end{matrix}\right.$$
此时方程使用回代法(back substitution)很容易求解

2 由矩阵消元引出矩阵初等变换

回顾总结下方程组的系数矩阵A的变化过程,从

$$A= \begin{pmatrix} 1 & 2 & 1\\ 3 & 8 & 1\\ 0 & 4 & 1 \end{pmatrix} \xrightarrow{row2-row1*3} A_1 = \begin{pmatrix} 1 & 2 &1 \\ 0 & 2 & -2 \\ 0 & 4 &1 \end{pmatrix} \xrightarrow{row3-row2*2} A_2 = \begin{pmatrix} 1 & 2 & 1\\ 0 & 2 & -2 \\ 0 & 0 & 5 \end{pmatrix}.$$
也就是 $A\xrightarrow{row2-row1*3} A_1\xrightarrow{row3-row2*2}A_2$

从矩阵乘法的角度考虑$A$左乘一个什么样子的矩阵会变成$A_1$?然后$A_1$左乘一个什么样子的矩阵会变成$A_2$?
也就是我们是否可以用一个矩阵来描述$\xrightarrow{row2-row1*3}$这样的变换过程?

通过简单的矩阵计算, 发现存在这样的矩阵

$$E_1=\begin{pmatrix} 1 & 0 & 0\\ -3 & 1 & 0\\ 0 & 0 & 1 \end{pmatrix} , \quad E_2=\begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & -2 & 1 \end{pmatrix}$$
使得 $E_1A=A_1 ,\quad E_2A_1=A_2$

我们再观察下$E_1和E_2$会发现它们可以由单位矩阵(Identify Matrix)

$$I=\begin{pmatrix} 1 & 0 & 0\\ 0 & 1 & 0\\ 0 & 0 & 1 \end{pmatrix}$$ 变换得到.
$I$通过$\xrightarrow{row2-row1*3}$得到 $E_1$
$$I=\begin{pmatrix} 1 & 0 & 0\\ 0 & 1 & 0\\ 0 & 0 & 1 \end{pmatrix}\xrightarrow{row2-row1*3} E_1=\begin{pmatrix} 1 & 0 & 0\\ -3 & 1 & 0\\ 0 & 0 & 1 \end{pmatrix}$$
$I$通过$\xrightarrow{row3-row2*2}$得到 $E_2$
$$I=\begin{pmatrix} 1 & 0 & 0\\ 0 & 1 & 0\\ 0 & 0 & 1 \end{pmatrix}\xrightarrow{row3-row2*2}E_2=\begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & -2 & 1 \end{pmatrix}$$

我们把任意一个矩阵左乘$E_1, E_2$这样的矩阵, 叫做矩阵的初等变换中的初等行变换.不难发现$E_2E_1A=A2$. 把更一般的$E_1, E_2$这样的矩阵健康叫做初等矩阵.

初等矩阵wiki中详细介绍了三种初等矩阵.

初等矩阵分为3种类型，分别对应着3种不同的行/列变换。

(1)两行（列）互换

这一变换使用$T_{i,j}$表示将一单位矩阵的第i行的所有元素与第j行互换

(2) 把某行（列）乘以一非零常数

这一变换使用$T_i(m)$表示将第i行的所有元素乘以一非零常数m

(3) 把第i行（列）加上第j行（列）的k倍

这一变换使用$T_{ij}(m)$表示将第i行加上第j行的m倍

3 矩阵消元的本质就是矩阵初等变换

从利用消元法求解方程组到方程组矩阵形式的化简(矩阵消元).
仔细分析后发现矩阵消元的本质就是矩阵初等变换.