MIT线性代数Linear Algebra公开课笔记 第八讲 求解Ax=b：可解性和解的结构（lecture 8 Solving Ax = b ：Row Reduced Form R）

本节是Gilbert Strang的MIT线性代数Linear Algebra公开课中【第八讲 求解$Ax=b$：可解性和解的结构（lecture 8 Solving $Ax=b$ ：Row Reduced Form $R$）】的笔记，参考他在 MIT Linear Algebra课程网站上公开分享的 lecture summary (PDF) & Lecture video transcript (PDF)等文档，整理笔记如下，笔记中的大部分内容是从 MIT Linear Algebra课程网站上的资料中直接粘贴过来的，本人只是将该课程视频中讲述的内容整理为文字形式，前面的章节可在本人的其他博客中找到（此处戳第一讲，第二讲，第三讲，第四讲，第五讲，第六讲，第七讲），后面的章节会按照视频顺序不断更新~

lecture 8 Solving Ax = b : Row Reduced Form R

When does $Ax=b$ have solutions $x$ , and how can we describe those solutions?

一. 可解性（Solvability conditions on b）

1. 可解性

——可解性： $b$ 满足什么条件，才能让 $Ax=b$ 有解？（solvability：condition on the right-hand side $b$ ）

——有两种描述方法：

1. $b$ 必须属于 $A$ 的列空间（when $b$ is in the column space of $A$ , $C(A)$ ），即 $b$ 必须是 $A$ 各列的线性组合（用列空间描述）；
2. 如果 $A$ 各行的线性组合得到零行，那么 $b$ 中元素的同样组合也必须为零。

2. 判断可解性的方法

判断可解性的方法（ $Ax=b$ 有解的条件）：

1. 法一：直接看方程组：如果方程组左侧各行的线性组合得到 $0$ ，那么右侧常数的相同组合必然也等于 $0$ .
2. 法二：对增广矩阵（Augmented matrix）进行消元：如果矩阵 $A$ 的某一行已被完全消除（即变为全零行），那么右侧向量 $b$ 的对应位置元素应该也变为0。

Example 1： 仍以上节课中的 $A$ 为例：
$$A=\left[\begin{array}{llll}1& 2& 2& 2\\ 2& 4& 6& 8\\ 3& 6& 8& 10\end{array}\right]$$

• 法一：对应所需求解的方程组 $Ax=b$ （ $b\ne 0$ ）如下：
  $$\begin{gathered} x_1+2x_2+2x_3+2x_4=b_1 \\ 2x_1+4x_2+6x_3+8x_4=b_2 \\ 3x_1+6x_2+8x_3+10x_4=b_3 \end{gathered}$$
  显然，矩阵 $A$ 的行三是行二与行一的和，因此，若要方程组有解，右侧需满足 $b_1+b_2=b_3$ ；

• 法二：此方程组对应的增广矩阵如下：
  $$\left[\begin{array}{ll}A& b\end{array}\right]=\left[\begin{array}{llllc}1& 2& 2& 2& b_1\\ 2& 4& 6& 8& b_2\\ 3& 6& 8& 10& b_3\end{array}\right]$$
  对增广矩阵进行消元：

$$\left[\begin{array}{llllc}1& 2& 2& 2& b_1\\ 2& 4& 6& 8& b_2\\ 3& 6& 8& 10& b_3\end{array}\right]\to \left[\begin{array}{llllc}1& 2& 2& 2& b_1\\ 0& 0& 2& 4& b_2-2b_1\\ 0& 0& 2& 4& b_3-3b_1\end{array}\right]\to \left[\begin{array}{llllc}1& 2& 2& 2& b_1\\ 0& 0& 2& 4& b_2-2b_1\\ 0& 0& 0& 0& b_3-3b_1-(b_2-2b_1)\end{array}\right]$$  即
$$\left[\begin{array}{llllc}1& 2& 2& 2& b_1\\ 0& 0& 2& 4& b_2-2b_1\\ 0& 0& 0& 0& b_3-b_1-b_2\end{array}\right]$$

​ 现在方程三为 $0=b_3-b_1-b_2$ ，这就是有解条件。

• 综上，两种方法的结果一致；在本例中，只要满足 $b_1+b_2=b_3$ ，方程组就有解。可见当 $b=\left[\begin{array}{l}1\\ 5\\ 6\end{array}\right]$ 时，方程组有解。

二. 通解（Complete solution）

求 $Ax=b$ 的所有解（即通解或完全解）步骤：

1. 判断方程组是否可解（若可解继续下一步）；
2. 求方程组 $Ax=b$ 的一个特解（particular solution）: ${\mathbf{x}}_{\text{particular}}$ ，即 ${\mathbf{x}}_p$ ；
3. 求零空间中的所有向量：矩阵 $A$ 的零空间中的所有向量，等效于求 $Ax=0$ 的所有解： ${\mathbf{x}}_{\text{nullspace}}$ ，即 ${\mathbf{x}}_n$ ；
4. 将特解和零空间中的所有向量相加，构成方程组的通解，即： ${\mathbf{x}}_{\text{complete}}={\mathbf{x}}_p+{\mathbf{x}}_n$ 。

1. 特解（A particular solution）

求方程组 $Ax=b$ 的一个特解的简单方法：将所有的自由变量设为 $0$ （因为自由变量的值可以任取，取 $0$ 简单），然后求解主变量，结果即为特解。

2. 零空间 （Combined with the nullspace）

上节课讲过如何求解零空间： $A$ 的零空间由其special solutions的所有的线性组合构成（ $Ax=0$ 的所有解），（令自由变量中有一个是 $1$ ，其他自由变量取 $0$ ，然后带回求主变量）；

3. 通解（Complete solution）

将特解 ${\mathbf{x}}_p$ 与零空间中的向量 ${\mathbf{x}}_n$ 相加，即得到方程组 $Ax=b$ 的所有解（即通解或完全解）：
$${\mathbf{x}}_{\text{complete}}={\mathbf{x}}_{\text{particular}}+{\mathbf{x}}_{\text{nullspace}}={\mathbf{x}}_p+{\mathbf{x}}_n$$
其中， ${\mathbf{x}}_p$ 是特解， ${\mathbf{x}}_n$ 是整个零空间，特解加上零空间中的向量即为方程组 $Ax=b$ 的所有解，这是因为： $A{\mathbf{x}}_p=\mathbf{b}$ ， $A{\mathbf{x}}_n=0$ ，可得 $A\left({\mathbf{x}}_p+{\mathbf{x}}_n\right)=\mathbf{b}$ ；即对于方程组某解，将其与零空间内任意向量相加仍为方程组的解，因为零空间内的向量得到的右侧向量为 $0$ ，故此时右侧 $b$ 不会发生变化，这样就得到方程组的所有解了。

Example 2：

仍继续Example 1中的矩阵 $A$ 且 $b=\left[\begin{array}{l}1\\ 5\\ 6\end{array}\right]$ ，那么 $Ax=b$ 的所有解是什么？

1. 看是否满足有解条件（保证方程组有解）：

   法一：在Example 1中已经求过其有解条件： $b_1+b_2=b_3$ ，此时 $b=\left[\begin{array}{l}1\\ 5\\ 6\end{array}\right]$ ，可见该 $b$ 满足有解条件，方程组有解；

   法二：将 $b=\left[\begin{array}{l}1\\ 5\\ 6\end{array}\right]$ 代入，则增广矩阵消元的最终形式如下：
   $$\left[\begin{array}{llllc}1& 2& 2& 2& 1\\ 0& 0& 2& 4& 3\\ 0& 0& 0& 0& 0\end{array}\right]$$
   即最后一个方程成立，满足有解条件。

   注：此时只有两个方程，但是未知数有四个，故理论上应该是有一堆解，而不是一个解；

2. 求一个特解 ${\mathbf{x}}_{\text{particular}}$ ：将所有自由变量设为 $0$ ，然后解出 $Ax=b$ 中的主变量。

   本例中，令自由变量 $x_2=0，x_4=0$ ，此时方程组只剩下主列，方程组的具体形式如下：
   $$\begin{gathered} x_1+2x_3=1 \\ 2x_3=3 \end{gathered}$$
   回代求解： $x_3=\frac{3}{2}，x_1=-2$ ，即一个特解为 ${\mathbf{x}}_p=\left[\begin{array}{r}-2\\ 0\\ 3/2\\ 0\end{array}\right]$ ，然后可以代回最初的原方程组进行检验。

3. 零空间： $Ax=0$ 的special solutions，即基础解系；自由变量中有一个是 $1$ ，其他自由变量取 $0$ ，然后带回求主变量；

   上节课已经讲过，本例中的零空间中有两个特解（因为有两个自由变量）： $\left[\begin{array}{r}-2\\ 1\\ 0\\ 0\end{array}\right]$ 和 $\left[\begin{array}{r}2\\ 0\\ -2\\ 1\end{array}\right]$ ，则 ${\mathbf{x}}_n=c_1\left[\begin{array}{r}-2\\ 1\\ 0\\ 0\end{array}\right]+c_2\left[\begin{array}{r}2\\ 0\\ -2\\ 1\end{array}\right]$ 为 $A$ 的零空间（ $Ax=0$ 的所有special solutions的线性组合）；

4. 综上，完全解即通解为： ${\mathbf{x}}_{\text{complete }}={\mathbf{x}}_p+{\mathbf{x}}_n=\left[\begin{array}{r}-2\\ 0\\ 3/2\\ 0\end{array}\right]+c_1\left[\begin{array}{r}-2\\ 1\\ 0\\ 0\end{array}\right]+c_2\left[\begin{array}{r}2\\ 0\\ -2\\ 1\end{array}\right]$ 。

   可见，此时 $A$ 的零空间是 ${\mathcal{R}}^4$ 中的两维子空间，并且 $Ax=0$ 的解构成了一个通过 $x_p$ 且与之平行的平面。

   注：特解不能乘以倍数，因为它要保证右侧等于 $b$ .

4. 几何图形

将所有的解都画出来（plot all solutions $x$ in ${\mathcal{R}}^4$ ）：四维图像

—— $Ax=b$ 的解是子空间吗？

——不是（因为它不包含零）

​ ${\mathbf{x}}_n=c_1\left[\begin{array}{r}-2\\ 1\\ 0\\ 0\end{array}\right]+c_2\left[\begin{array}{r}2\\ 0\\ -2\\ 1\end{array}\right]$ 是子空间，这是 ${\mathcal{R}}^4$ 中的二维子空间（有两个参数），是个二维平面（维数表示可以任意选取的自由独立的数字的个数）；该二维平面不穿过原点，而是过点 $\left[\begin{array}{r}-2\\ 0\\ 3/2\\ 0\end{array}\right]$ ，即特解 ${\mathbf{x}}_p$ ，构成通解 ${\mathbf{x}}_{\text{complete }}$ 。

三. 秩（Rank）

考虑一个秩为 $r$ 的 $m\times n$ 的矩阵 $A$ ： $r\le n，r\le m$ 。

秩 = 矩阵的主元的个数；

矩阵 $A$ 共 $m$ 行，主元不可能超过 $m$ 个（最多 $m$ 个），故 $r\le m$ ；又因为矩阵 $A$ 共 $n$ 列，每一列的主元不会超过 $1$ 个，总主元数不超过 $n$ 个，故 $r\le n$ 。

满秩： $r$ 取最大时的情况，存在两种情况：分别对应于 $m$ 值和 $n$ 值，先讨论列满秩：

1. 列满秩（Full column rank）： $r=n$

——列满秩（ $r=n$ ）时，零空间是什么样的？

—— $r=n$ 意味着每一列都有主元，即主变量有 $n$ 个（一共就 $n$ 个变量），此时所有列都含有主元，没有自由变量，故零空间的维数为： $n-r=0$ 维，即零空间内只有零向量： $N(A)=\text{zero vector}$；综上，列满秩时不需要求零空间；

——列满秩（ $r=n$ ）对于方程组的解意味着什么？通解是什么样的？

——此时如果方程组有解，那么只有唯一解 $x_p$ ，也就是 $Ax=b$ 的全部解为： $x=x_p$ ，因为此时没有自由变量可以进行赋值，故只有特解 $x_p$ 这一个解，没有别的解，称其为唯一解；（只有 $b$ 刚好是左侧列向量的线性组合时，才有解；即对于 ${\mathcal{R}}^m$ 中的任意向量 $b$ ，只要它不是 $A$ 的各列的线性组合，方程组 $Ax=b$ 就无解）。综上，列满秩时，只有 $0$ 个或者 $1$ 个解。（此时 $r=n<m$ ）。另外，已知 $r\le m$ ，又 $r=n$ ， 故矩阵的列数 $\le$ 行数，此时矩阵的行最简形式一般为： $R=\left[\begin{array}{l}I\\ 0\end{array}\right]$ .

在实际应用中，这种各列线性无关的情况很常见。

Example 3：
$$A=\left[\begin{array}{ll}1& 3\\ 2& 1\\ 6& 1\\ 5& 1\end{array}\right]$$
矩阵 $A$ 的秩为 $2$，两个列向量的方向不同，其简化行阶梯形式 $R$ 如下：
$$R=\left[\begin{array}{ll}1& 0\\ 0& 1\\ 0& 0\\ 0& 0\end{array}\right]$$
该矩阵只有两个无关的行，即前两行线性无关（不共线），其他行均是这两行的线性组合。

——此时 $Ax=b$ 是否总有解？

——不是总有解。只有 $b$ 选择的刚好是左侧列向量的线性组合时，才有解；矩阵 $A$ 是列满秩，其两列给出两个主元，其零空间中只有 $0$ ，因为列之间的线性组合无法产生零列（零零组合不算）；这里有四个方程两个未知数。如果恰好 $b=\left[\begin{array}{l}4\\ 3\\ 7\\ 6\end{array}\right]$ ，即 $b$ 是左侧两列的和，那么特解为 ${\mathbf{x}}_p=\left[\begin{array}{r}1\\ 1\end{array}\right]$ ，这是方程组的唯一解。

2. 行满秩（Full row rank）： $r=m$

行满秩时，消元后，每一行都有主元，共有 $m$ 个主元，没有零行，故有 $r=m$ 个主变量；由于一共就 $n$ 个变量，故有 $n-r=n-m$ 个自由变量。（ $r=m<n$ ）

——右侧向量 $b$ 取什么时， $Ax=b$ 有解？

——行满秩，消元时不会出现零行，因此对 $b$ 没有要求，即对于任意 $b$ ， $Ax=b$ 都有解，故必然有解。综上，行满秩时，方程组 $Ax=b$ 总有解，另外由于有 $n-m$ 个自由变量，因此方程组 $Ax=0$ 有 $n-m$ 个special solutions。此时 $r=m\le n$ ，行数 $\le$ 列数，则其行最简形式一般为 $R=\left[\begin{array}{ll}I& F\end{array}\right]$ 。

Example 4： （将Example 2 中的例子转置一下）
$$A=\left[\begin{array}{llll}1& 2& 6& 5\\ 3& 1& 1& 1\end{array}\right]$$
此时矩阵的秩为 $2$ ，有两个主元，其行最简如下：
$$R=\left[\begin{array}{llll}1& 0& -& -\\ 0& 1& -& -\end{array}\right]=\left[\begin{array}{ll}I& F\end{array}\right]$$
注意： $F$ 处有值，该部分将构成零空间的special solution；即 $R$ 中的各主列构成单位阵， $R$ 中没有零行，因此秩是2；

3. 行列均满秩（Full row and column rank）： $r=m=n$

Example 5：
$$A=\left[\begin{array}{ll}1& 2\\ 3& 1\end{array}\right]$$
行列均满秩的矩阵一定是方阵，即称为满秩，无需说明是列或者行满秩，因为行等于列，是一回事，此时秩已经达到最大了， $r=m=n$ ，即行列均满秩的矩阵 $A$ 为可逆方阵，其行最简形式 $R$ 是单位阵：
$$R=\left[\begin{array}{ll}1& 0\\ 0& 1\end{array}\right]=I$$
该矩阵的零空间的维数是 $0$ ，即零空间中只有零向量，同时，方程组 $Ax=b$ 一定有解，且是唯一解；因为 $r=m$ 时，总有解，而 $r=n$ 时，解唯一。

4. 总结（Summary）

注意：第三种情况中的行最简形式 $R$ 不一定就是：前面全是主列、后面全是自由列的形式，即行最简形式不一定就是 $\left[\begin{array}{ll}I& F\end{array}\right]$ 形式，也有可能主列和自由列穿插着，即 $I$ 和 $F$ 混在一起的。

矩阵的秩决定了方程组解的个数，秩 $r$ 包含了所有信息（除了具体的计算结果）。