Chapter 2. Solving Linear Equations (Part 1)

2.1 vectors and linear equations

线性代数的核心问题是求解方程组，这些方程是线性的。所谓线性，即未知量只做加减和数乘。
例子：

$$x-2y=1 \\ 3x+2y=11$$
从以下2种角度来理解这个方程：
（1）row picture(行图):
每个方程可以用一条直线表示，那么得到两条直线，如果直线有交点P，那么交点P的坐标（x, y）同时满足两个方程，即为这个方程组的解。

（2）column picture(列图):
从线性组合的角度来理解这个方程组，即

$$x\begin{bmatrix}1 \\3 \end{bmatrix}+y\begin{bmatrix}-2 \\2 \end{bmatrix}=\begin{bmatrix}1 \\11 \end{bmatrix}$$
这里 方程组的解就是找到 合适的系数，使得例子中的2个向量经过线性组合后，得到方程组右边的向量。

这里令$A=\begin{bmatrix} 1 & -2 \\3 &2 \end{bmatrix}$
我们把A称作”coefficient matrix”。
所以我们可以把这个方程组写成矩阵方程的形式：$Ax=b$

$$\begin{bmatrix} 1 & -2 \\3 &2 \end{bmatrix} \begin{bmatrix}x \\y \end{bmatrix} = \begin{bmatrix} 1\\11 \end{bmatrix}$$

同样的，假设扩展到三个未知量，三个方程的方程组。在有解的情况下，我们可以理解为三条空间直线交于一点P，或者（x,y,z）三个系数使得三个列向量的线性组合为方程组等号右边的列向量。
如果扩展到四个未知量，四个方程的方程组，再从row picture的角度就难于理解了，因为我们不知道四维空间的”物体”是什么样的，但是从column picture的角度，我们仍然可以理解为四个四维向量的线性组合得到方程组等号右边的四维向量。

2.2 the idea of elimination

上面小节讲述了如何理解向量和线性方程组的关系，但是如何去求解呢？
这就要引出消元的思想了。
还是用上面的例子：
消元以前：

$$x-2y=1 \\ 3x+2y=11$$
我们从第二个方程里面减去第一个方程的3倍，得到
消元以后：
$$x-2y=1 \\ 8y=8$$
这样一来，第二个方程就只有一个未知量了，十分容易算出来y=1，所以再把y=1代入第一个方程，就又解出了x=3。
通过观察可以发现，消元以后的到新方程组，它的系数矩阵有一个特点： 上三角结构
$$\begin{bmatrix} 1 &-2 \\ 0 &8\end{bmatrix}$$
在这里我们先要定义几个概念：
pivot(主元):first nonzero in the row that does the elimination
multiplier(倍数，乘数):divided by pivot
所以，在这个例子中，主元就是在主对角线上的1和8，倍数是3(=3/1)。

那么如果是三个未知量，三个方程的情况下，我们是不是也可以经过运算，得到上三角的结构，然后从底下开始求解，往上代入？

这样一来，不管方程组有多大，都可以拍拍胸脯表示宝宝不怕了呢!
可是现实情况真的如此吗？欲知后事如何，请听下回分解！
（开个玩笑啦!）

现在我们就要讨论一下消元法失效的情况。
（1）情况1：消元法永远失效/方程组没有解

$$x-2y=1 \\ 3x-6y=11$$
按着消元的步骤我们得到;
$$x-2y=1 \\ 0y=11$$
但是没有y能够满足0y=11，所以这个方程就没有解。
这里，这个系数矩阵只有一个主元。

（2）情况2：消元法暂时失效/方程组有无穷多解

$$x-2y=1 \\ 3x-6y=3$$
还是经过消元得到：
$$x-2y=1 \\ 0y=0$$
任何的y都可以满足与第二个方程，所以对应有任意的x，所以就有无穷多个解。
这里，这个系数矩阵也只有一个主元。

（3）情况3：消元法暂时失效/需要经过行交换才能继续求解

$$0x+2y=4 \\ 3x-2y=5$$
这里我们发现，第一个主元的位置是0，但是主元不能为0，所以交换方程的上下位置，得到：
$$3x-2y=5\\0x+2y=4$$
这样就可以求解了。

总结如下：
奇异方程组：主元数量$\neq$方程的数量，结果是无解或者无穷解；
非奇异方程组：主元数量=方程的数量，结果是有唯一解。

在这一小节我们介绍了消元法，并归纳了消元法求解方程组可能会碰到的几个问题及处理措施。
现在我才可以拍胸脯保证，在面对不管多大的线性方程组，我都可以解出来。