漫步线性代数三——高斯消元法

高斯消元法实例

了解消元法最好的方式是看例子。我们以三维开始：

$$\begin{equation} {\rm{Original\ system\ }} \begin{array}{ccccccc} 2u&+&v&+&w&=&5\\ 4u&-&6v& & &=&-2\tag1\\ -2u&+&7v&+&2w&=&9 \end{array} \end{equation}$$

问题是找出未知量$u,v,w$，我们应用高斯消元法。(高斯被公认为最伟大的数学家，当然不是因为这项发明，这个他也许只花了十分钟。讽刺的是，以他名字命名的所有想法中，这个是最常用的)该方法从其他方程减去第一个方程的倍数开始。目标是消除后面两个方程中的$u$。这就要求我们

a. 第二个方程减去第一个方程的2倍
b. 第三个方程减去第一个方程的-1倍

$$\begin{equation} {\rm{Equivalent\ system\ }} \begin{array}{ccccccc} 2u&+&v&+&w&=&5\\ &-&8v&-&2w&=&-12\tag2\\ & &8v&+&3w&=&14 \end{array} \end{equation}$$ 系数2是第一个主元。消元法不断用下面的数除以主元，从而找出正确的乘数。

消去法第二阶段的主元是-8。我们现在忽略第一个方程。从余下的方程中(例题中也就是第三个方程)减去第二个方程的倍数来消除$v$。我们将第二个方程加上第三个，换句话说

c. 第三个方程减去第二个方程的-1倍
现在完成了消去过程，得到了

$$\begin{equation} {\rm{Triangular\ system\ }} \begin{array}{ccccccc} 2u&+&v&+&w&=&5\\ &-&8v&-&2w&=&-12\tag3\\ & & &&1w&=&2 \end{array} \end{equation}$$

然后反向求解方程组，即从下往上。最后一个方程给出了$w=2$。将它代到第二个方程，我们发现$v=1$。继续代入第一方程，求出$u=1$。这个过程称为回代。

大概总结一下：前向消去过程产生主元2,-8,1。下面的每一行减去上面的倍数，达到(3)那样的“三角”系统，这是以相反的顺序来求解的。然后将每个新计算出来的值代入方程即可。

注解：写出前向消去步骤的好方法是将右边包含进来作为额外的列。没有需要每步都复制$u,v,w,=$，所以我们最终写成：

$$\begin{bmatrix}2&1&1&5\\4&-6&0&-2\\-2&7&2&9\end{bmatrix}\to\begin{bmatrix}2&1&1&5\\0&-8&-2&-12\\0&8&3&14\end{bmatrix}\to\begin{bmatrix}2&1&1&5\\0&-8&-2&-12\\0&0&1&2\end{bmatrix}\ $$ 最后是三角形系统，准备回代。你可能会更喜欢这个安排，它保证左边方程运算的同时，右边也在运算-因为双方都在一起。

在一个更大的问题里，前向消元法比较费力。我们用第一个方程的倍数在第一个主元下边产生零。然后第二列将第二个主元下面的元素清零。当系统是三角形的时候，前向步骤就完成了；$n$个方程中只有最后一个只包含乘数和主元。以相反的顺序回代，得到完整的解-从最后一个未知量开始，然后一个一个解决，知道第一个。

根据定义，主元不能为零。因为我们需要除它们。

消元法失效

在什么情况下消元法会失效呢？奇异情况下它肯定失效，一些非奇异情况也会失效。现在讨论这个可能似乎有点太早了-毕竟，我们好不容易知道算法如何工作。但失效的可能性揭示了方法本身。

答案是：有$n$个主元的话，问题只有一个解。该系统是非奇异的，并且它能用前向消元和回代求解出来。但是，如果零出现在主元的位置，消去法将停止-也可能暂时，也可能永久。系统可能是奇异的，也可能不是。

如果第一个系数为零，即左上角，那么就无法从其他方程中消去$u$。在中间的每个阶段同样如此。注意零可以出现在一个主元的位置上，即使那个位置的原始系数不是零。粗略地说，在执行消去过程之前，我们不知道零是否会出现。

在许多情况下是这一问题可以解决，并且消去法可以继续执行。这种系统仍算作非奇异；它只需要算法来修复。而其他情况下，失效是不可避免的。那些无药可救的系统是奇异的，他们没有解或者有无穷多个，不能找出完整的主元集合。

例1：非奇异(交换方程2,3就能恢复会非奇异的)

$$\begin{matrix}u&+&v&+&\ w=\_\\ 2u&+&2v&+&5w=\_\\ 4u&+&4v&+&8w=\_ \end{matrix}\to \begin{matrix}u&+&v&+&\ w=\_\\ & & & &3w=\_\\ & &2v&+&4w=\_ \end{matrix}\to \begin{matrix}u&+&v&+&\ w=\_\\ & &2v&+&4w=\_\\ & & & &3w=\_ \end{matrix}$$ 这个系统现在变成三角形了，然后回带就能求解它。

例2：奇异(无法恢复)

$$\begin{matrix}u&+&v&+&w&=\_\\ 2u&+&2v&+&5w&=\_\\ 4u&+&4v&+&8w&=\_ \end{matrix}\to \begin{matrix}u&+&v&+&w&=\_\\ & & & &3w&=\_\\ & & & &4w&=\_ \end{matrix}$$ 无论如何交换方程，都不可避免的在第二个主元位置上是零。方程本身可能有解也可能无解。如果最后两个方程是 $3w=6,4w=7$，那么没有解。如果这些两个方程碰巧是一致的- $3w=6,4w=8$-那么这个奇异情况有无穷个解。我们知道 $w=2$，但是第一个方程无法确定 $u,v$。

后面我们会讨论系统非奇异的情况。然后交换方程可以产生完整的主元集合。还有奇异情况，消去法就比较麻烦。$3w$仍然可以消去$4w$，并且我们将3作为第二个主元。(不存在第三个主元)。目前来说，我们相信在不需更改变方程顺序的情况下，所有主元都不为零。这是最好的情况，我们继续讨论这种情况。

消元法的代价

我们另一个问题是非常实用的。对$n$个未知量的$n$个方程，消去法需要多少部单独的算术运算？如果$n$很大，电脑将去掉我们进行消元。然而所有的步骤都是已知的，所以我们能够推测出操作的数量。

眼下，忽略方程右边，只考虑左边的操作。这些操作有两种。除以主元找出要减的乘数($\ell$)。当我们做减法的时候，我们不断遇到“乘法-减法”组合；含有主元的方程乘以$\ell$，然后减去另一个方程。

假设我们将每个除法和每个乘法-减法，看做一次操作。在列1 中，为了实现每个为零，我们需要$n$次操作-一方面找乘数$\ell$，另一方面整行的计算。第一个主元下面有$n-1$行，所以消去法的第一阶段需要$n(n-1)=n^2-n$次操作。(另一种计算$n^2-n$的方法是这样的：一共有$n^2$项，除了第一行的$n$个外，一共有$n^2-n$项需要改变)下一步计算会更快，因为方程变得更简单了。

当消去法降为$k$个方程时，与第一阶段$k=n$时一样，采用同样的方法，可以得出仅需要$k^2-k$次操作就完成列的消去。最终，总的操作次数是$k$从1取到$n$时所有$k^2-k$的和：

$$\begin{align*} {\rm{Left\ side}}\quad (1^2+\cdots+n^2)-(1+\cdots+n) &=\frac{n(n+1)(2n+1)}{6}-\frac{n(n+1)}{2}\\ &=\frac{n^3-n}{3} \end{align*}$$ 将 $n=1,n=2,n=100$分别代入公式 $\frac{1}{3}(n^3-n)$，前向消去法可能不需要任何步骤或两个步骤或大约有100万的三分之一步：

如果$n$是一个很大的值，那么运算大概需要$\frac{1}{3}n^3$步

如果规模翻了一番，并且系数几乎不为零，那么成本将是原来的8倍。

回代是相当快的。最后一个未知量只需一步操作(除以最后一个主元)。倒数第二个需要两步，等等。那么回代的总数是$1+2+\cdots+n$。

右边有执行前向消元(跟左边一样，减去相同的倍数从而保证方程正确)。从第一个方程开始有$n-1$次减法。最后右边一共需要$n^2$步运算-远远小于左边的$n^3/3$。前向和回代一共需要

$${\rm{Right\ side}}\quad [(n-1)+(n-2)+\cdots+1]+[1+2+\cdots+n]=n^2$$

三十年前，几乎每个数学家会猜测一个$n$阶系统不可能在少于$n^3/3$次乘法的情况下计算出来。(甚至有定理来证明它，)。令人惊讶的是，这种猜测已被证明是错的。现在存在一种方法只需要$Cn^{\log_2^7}$次乘法！它依赖于一个简单的事实：二维空间中两个向量的两种组合似乎需要8次乘法，但他们可以7次就完成。这将$\log_2^8$的指数3降为$\log_2^7\approx2.8$。这项发现对找出更小的$n$值提供了支持。最后指数(在IBM机器上)低于2.376。幸运的是，对于消元法，常数$C$非常大，并且编码很麻烦，所以新方法更多地(或全部)在理论上很有趣。最新的问题是与多个并行处理器的代价。