MIT 18.06 linear Algebra笔记第二课

MIT 18.06 linear Algebra笔记第二课

第二课的课程要点如下所示：

• Elimination(消去法)
• Back-substitution(回代)
• Elimination Matrices(消去矩阵)
• Matrix multiplication(矩阵乘法)

课上举得第一个例子就是关于3行3列的方程组，如下所示：

$$\begin{cases} x+2y+z=2\\ 3x+8y+z=12\\ 4y+z=2\\ \end{cases}\tag{1}$$
上面线性方程组对应的参数矩阵如下所示：
$$\begin{bmatrix} 1&2&1\\ 3&8&1\\ 0&4&1 \end{bmatrix}\tag{2}$$
将式(2)的矩阵做线性变化变化即可，过程如下所示：
$$\begin{bmatrix} \boxed{1}&2&1\\ 3&8&1\\ 0&4&1 \end{bmatrix}-> \begin{bmatrix} 1&2&1\\ 0&\boxed{2}&-2\\ 0&4&1 \end{bmatrix}-> \begin{bmatrix} 1&2&1\\ 0&2&-2\\ 0&0&\boxed5 \end{bmatrix}\tag{3}$$
其中被方框圈出来的为 主元(pivot)，在上式(3)中第一个矩阵为方程组(1)的参数矩阵，第二个矩阵是第一个矩阵的 $row_2$减去了 $3row_1$。第三个矩阵是第二矩阵的 $row3$减去了 $2row2$。式(3)中三个方框中的数字分别对应三个主元。第一个方框内的1对应第一主元(first pivot)。第二个方框内的2对应第二主元(second pivot),以此类推。对了值得注意的是 主元不能为0。
可以看到式(3)中的第三个矩阵是一个上三角矩阵，表示为 $U$。
前面我们提到一个矩阵$A$乘以矩阵 $x$，相当于对矩阵$A$中的列向量做线性组合。如果一个行向量 $x$乘以一个矩阵$A$是在做什么样的运算呢？
$$\begin{bmatrix} x_{11}\\x_{21} \end{bmatrix} \begin{bmatrix} a_{11}&a_{12}\\a_{21}&a_{22} \end{bmatrix}= x_{11} \begin{bmatrix} a_{11}&a_{12} \end{bmatrix}+ x_{21} \begin{bmatrix} a_{21}&a_{22} \end{bmatrix}\tag{4}$$
从上式(4)可以看出， $x$左乘相当于做关于$A$中行向量的线性组合。即： $x_{11}*row_1+x_{21}*row_{2}$。简而言之就是说，左乘做行变换，右乘做列变换。
上式(3)中的第一个矩阵到第二个矩阵的变换相当于左乘了一个初等矩阵 $E_{21}$。如下所示：
$$\begin{bmatrix} 1&0&0\\ -3&1&0\\ 0&0&1\\ \end{bmatrix} \begin{bmatrix} 1&2&1\\ 3&8&1\\ 0&4&1 \end{bmatrix}\tag{5}$$
上式(5)左边就是一个初等矩阵。它也是有单位矩阵变换而来的。上式(2)中第二个矩阵到第三个矩阵的变换是通过在第二矩阵的基础上左乘一个 $E_{32}$得到的。如下所示：
$$\begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&-2&1\\ \end{bmatrix} \begin{bmatrix} 1&2&1\\ 0&2&-2\\ 0&4&1 \end{bmatrix}\tag{6}$$
因此综合上面对线性方程组的参数矩阵所做的线性变换，可以表示为：
$$E_{32}E_{21}A=U\tag{7}$$
上式(7)中的矩阵乘法满足 结合律(associative law)，可以让 $E_{32}$与 $E_{21}$相乘然后再与参数矩阵 $A$相乘。即$E_{32}(E_{21}A)=(E_{32}E_{21})A$。注意矩阵不满足交换率即： $AB\neq BA$。当然有些特殊情况等式是有可能成立的。
$$\begin{bmatrix} 0&1\\ 1&0 \end{bmatrix} \begin{bmatrix} a&b\\ c&d\\ \end{bmatrix}= \begin{bmatrix} c&d\\ a&b \end{bmatrix}\tag{8}$$
从上式(8)中可以看出来，左边的矩阵是一个 置换矩阵(permutation matrix),它起到了置换第二个矩阵第一二行的作用。上式(8)可以看出置换矩阵其实是将单位矩阵的前两行交换了位置，它左乘以第二个矩阵，使得第二个矩阵的第一二行也发生了置换。同理可以推知：如果置换矩阵右乘一个矩阵 $A$，那么$A$的列也会被相应置换。