【Linear Algebra 线性代数】2、矩阵的消元

学习资源：
　－　麻省理工公开课：线性代数【讲师：Gilbert Strang】
　－　绘图工具 - Geogebra
个人笔记

矩阵的消元

本节中我们将使用到这个方程组：
$$\{\begin{array}{llccccc}x& +& 2y& +& z& =& 2\\ 3x& +& 8y& +& z& =& 12\\ & & 4y& +& z& =& 2\end{array}$$
　根据以前的知识，求解这个方程组要计算很多等式，这个太麻烦了。有没有更加简洁点的方法?
　在进行普通的求解方程组时，我们常用的方法就是对方程组进行消元，先把某个变量消去，然后计算剩余的变量的值。但是这个过程中需要计算太多的等式，看起来极其复杂。
　我们仔细思考一下，在求解方程组的过程中，我实际上是对系数进行了操作，既然如此，为何不将系数矩阵提取出来。对矩阵进行计算求解呢？
　让我们开启矩阵消元之旅吧~
　
我们先从原方程组中按行提取出等式Ax=b的系数矩阵A和目标矩阵b:
$$A=\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]b=\left[\begin{array}{c}2\\ 12\\ 2\end{array}\right]$$
矩阵的消元包括两个步骤：消元(Elimination) 与 回代(Back substitution)
消元(Elimination) ：
这里为了不让叙述包含太多文字先给出一些定义：
　a[i,j]　表示矩阵中第i行j列的元素，注意我们i和j的初始值是1，而不是0，阅读的时候请注意这一点；
　
$$\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]$$
第一步，我们把A中第一行第一列的元素a[1,1] = 1称为主元(1st Pivot)，那么现在我们要做的就是消去a[2,1]，我们要让他变为0，对应到原方程组中，我们就能消去方程2中的变量x。步骤为：将A的第一行所有元素*3，然后让第二行减去第一行，注意，这并不表示第一行的元素的值就改变了，这里只是以第一行为基础进行计算。
$$\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]=>\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]$$
这里有个问题，目标矩阵b呢，我们不是应该对b也同时进行计算吗？这个问题我们将会在回代中给出解答，在这里我们首先对系数矩阵A进行消元，看看它是不是一个好的矩阵。

消掉a[2,1]后，我们把a[2,2]认定为第二个主元(2nd Pivot)。
第二步，我们要消掉a[3,2]，方法跟第一步一样。步骤为：第二行所有元素*2，然后用第三行减去第二行。
$$\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]=>\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]=>\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 0& 5\end{array}\right]$$
此时我们认定a[3,3]位第三个主元(3rd Pivot)。
可以看到到消元后的矩阵以三个主元为对角线(1st, 2nd, 3rd)，左下角的元素全为0，这样的矩阵成为上三角矩阵(Upper triangular)，我们说这样的系数矩阵A是个好矩阵，我们可以通过回代求出原方程组的解。注意：主元不能为0。

但是消元法一直都有效吗？如果A中的元素a[2,2]=6，我们对这样的矩阵进行消元，会得到如下结果：
$$\left[\begin{array}{ccc}1& 2& 1\\ 3& 6& 1\\ 0& 4& 1\end{array}\right]=>\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& -2\\ 0& 4& 1\end{array}\right]$$
这时，我们可以通过行变换，将第二行和第三行交换位置然后继续进行消元。
但如果，我们第三行的元素全为0，我们该如何进行消元？例如
$$\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 0& 0\end{array}\right]$$
如果碰到这种情况，消元将彻底失效，这时我们成该矩阵不可逆，以后将会讲到相关知识。

总结一下消元失效：
　行交换可以解决主元为0的“暂时性”失效；
　但当底下的行中再也没有非0元素时，消元彻底失效，且该矩阵不可逆。

因此我们现在只关注好的情况。回到正题，我们对系数矩阵A进行消元后得到矩阵U：
$$U=\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 0& 5\end{array}\right]$$

---

回代(Back substitution)
我们已经知道系数矩阵A是个好矩阵，接下来我们将加上目标矩阵b，同时对目标矩阵进行消元，Ab如下：
$$Ab=\left[\begin{array}{cccc}1& 2& 1& 2\\ 3& 8& 1& 12\\ 0& 4& 1& 2\end{array}\right]$$
我们称这样的矩阵叫做增广矩阵(Augmented Matrix)，因为它在A的右侧增加了一列。
同样，我们对增广矩阵Ab进行跟消元时相同的操作，只是这一次我们带上b一起玩。
$$\left[\begin{array}{cccc}1& 2& 1& 2\\ 3& 8& 1& 12\\ 0& 4& 1& 2\end{array}\right]=>\left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 4& 1& 2\end{array}\right]=>\left[\begin{array}{cccc}1& 2& 1& 2\\ 0& 2& -2& 6\\ 0& 0& 5& -10\end{array}\right]$$
可以看到b经过一系列变换之后变成了c:
$$c=\left[\begin{array}{c}2\\ 6\\ -10\end{array}\right]$$
到这里，可以看出矩阵消元的过程实际上就是：
$$\begin{gathered} Ax=b \\ Ux=c \\ A=>Ub=>c \end{gathered}$$
Ax=b变换到Ux=c的过程。
我们将Ux=c代回到原方程组即可得到：
$$\{\begin{array}{llccccc}x& +& 2y& +& z& =& 2\\ & & 2y& -& 2z& =& 6\\ & & & & 5z& =& -10\end{array}$$
解为：
$$\{\begin{array}{l}x=2\\ y=1\\ z=-2\end{array}$$
以上就是消元的基本流程。

---

矩阵变换(Matrix Operation)
　细心的同学可能会注意到，在描述矩阵消元的过程中我对矩阵的变换过程使用的是自然语言(即文字)去描述的，但是，相比较于自然语言，我们能不能够使用矩阵去描述他的变换过程呢？这就是我们接下来要接触到的矩阵变换。
　让我们回到消元第一步：
$$\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]=>\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]$$

思考一下，用怎样的矩阵去乘A能够得到第一次消元后的矩阵？
$$\left[\begin{array}{ccc}?& ?& ?\\ ?& ?& ?\\ ?& ?& ?\end{array}\right]\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]=>\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]$$

请记住，在进行矩阵乘法的时候，我们要用整个向量去进行思考。
先给出矩阵乘法的定义，其实上一节末尾我们也有提到过一点。
1、m行n列的矩阵A跟n行w列的矩阵B相乘，结果矩阵C为m行w列，注意矩阵A的列数和矩阵B的行数要相同，两矩阵才可进行乘法运算。
2、矩阵A第一行和矩阵B第一列点积的结果为矩阵C的第一行第一列元素的值；
矩阵A第一行和矩阵B第二列点积的结果为矩阵C的第一行第二列元素的值…如此类推。
数学公式：
$$c_{ij}=\sum _{k=0}^n{a}_{ik}\ast b_{kj}$$
回到正题，首先，给该变换矩阵赋个名字：$$E_{21}$$这表示为对矩阵A的a[2,1]元素进行消元的变换矩阵。
继续，第一次消元我们要改变的是第二行的元素，因此第一行和第三行保持不变：

$$\left[\begin{array}{ccc}1& 0& 0\\ ?& ?& ?\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]=>\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]$$
然后，思考一下变换矩阵的第二行应该填怎样的值？
消元时，我们借助第一行的值来消去第二行，第三行不受影响，因此我们可以考虑到待填充的第三个元素为0，第二个元素为1。（记住，请用向量来思考矩阵乘法的过程）最后，第一个元素我们填-3，得到下图：
$$\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 2& 1\\ 3& 8& 1\\ 0& 4& 1\end{array}\right]=>\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]$$
进一步解析：$\left[\begin{array}{ccc}1& 0& 0\end{array}\right]$为对矩阵A第一行乘1，第二行乘0，第三行乘0；$\left[\begin{array}{ccc}0& 0& 1\end{array}\right]$为对矩阵A第一行乘0，第二行乘0，第三行乘1。因此对于消去矩阵A第二行，我们需要让矩阵A第一行乘-3，第二行保留为1倍，因为不对第三行执行操作所以置其倍数为0。

变换矩阵：
$$E_{21}=\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]$$
不确定的同学可以动手计算一下结果是否正确。
我们可以观察到这个变换矩阵看起来有点特殊，如果我们把-3换成0的话：
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
这样的矩阵我们称之为单位矩阵，对角线上的元素全为1。任意矩阵乘以相对应的单位矩阵结果是它本身，单位矩阵的性质跟1和相似，可以理解为它就是矩阵里的“1”。

接下来我们思考消元的第二步，第二步中的变换矩阵我们又该填怎样的值呢？
延续上一步的思路，这次我们需要消掉a[3,2]，因此第一行和第二行不变。
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ ?& ?& ?\end{array}\right]\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]=\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 0& 5\end{array}\right]$$
然后，我们借助第二行来进行消元。
$$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& -2& 1\end{array}\right]\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 4& 1\end{array}\right]=\left[\begin{array}{ccc}1& 2& 1\\ 0& 2& -2\\ 0& 0& 5\end{array}\right]$$
变换矩阵：
$$E_{32}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& -2& 1\end{array}\right]$$

至此，我们可以得到一个新的等式：
$$E_{32}(E_{21}A)=U$$
这里我们阐述几个矩阵乘法的特性：
1、矩阵乘法支持结合律(Associative Law)
即
$$E_{32}(E_{21}A)=U$$
等价于
$$(E_{32}{E}_{21})A=U$$
2、矩阵乘法不满足交换律(Commutative Law)
即AxB不等于BxA
$AB̸=BA$

思考一个问题，我们能否使用1个变换矩阵来表示整个变换过程，即我只用1个变换矩阵就能对系数矩阵A完成整个消元过程？
相信看到性质1的同学都会有点小想法，不过我们可以使用逆变换矩阵，所谓逆变换矩阵就是把变换过程逆转过来，生成让矩阵U转换回A的矩阵，这说明E21的逆矩阵与E21相乘的结果为单位矩阵。
比如说对于变换矩阵E21来说他的逆矩阵应该是怎样的？
$$\left[\begin{array}{ccc}?& ?& ?\\ ?& ?& ?\\ ?& ?& ?\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
运用变换矩阵的计算思路，我们可以得到：
$$\left[\begin{array}{ccc}1& 0& 0\\ 3& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ -3& 1& 0\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
E21的逆矩阵：
$$E_{21}^{-1}=\left[\begin{array}{ccc}1& 0& 0\\ 3& 1& 0\\ 0& 0& 1\end{array}\right]$$
关于逆矩阵更详细的知识将会在后面的章节讲到。

---

最后我们玩点有趣的吧~
给出定义
$$A=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]B=\left[\begin{array}{cc}c& d\\ a& b\end{array}\right]$$
思考一下，将A转换到B的变换矩阵T是什么？
=思考线===========

$$\begin{gathered} tA=B \\ \left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]=\left[\begin{array}{cc}c& d\\ a& b\end{array}\right] \\ t=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right] \end{gathered}$$
我们称t这样的矩阵为置换矩阵(Permutation Matrix)。

再思考一下：
怎样的置换矩阵w能够实现下面的变换？建议自己思考一下再往下阅读~
$$\begin{gathered} A=>C \\ \left[\begin{array}{cc}a& b\\ c& d\end{array}\right]=>\left[\begin{array}{cc}b& a\\ d& c\end{array}\right] \end{gathered}$$
=思考线===========
结果如下：
$$\begin{gathered} Aw=C \\ \left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right]=\left[\begin{array}{cc}b& a\\ d& c\end{array}\right] \\ w=\left[\begin{array}{cc}0& 1\\ 1& 0\end{array}\right] \end{gathered}$$

hh，如果你有真正思考过你会觉得这个问题很有趣，虽然我们在本节中讲到的都是行变换，担请不要忘记列变换，虽然我们现在只关注行变换。
　记住：
　当进行行变换的时候使用左乘；
　当进行列变换的时候使用右乘。

下一节将讲解乘法和逆矩阵