8.4 线性相关、基、维数和子空间

　　如果逆矩阵$A^{-1}$存在，那么式$Ax=b$肯定对于每一个向量$b$恰好存在一个解。但是，对于方程组而言，对于向量$b$的某些值，有可能不存在解，或者存在无限多个解。存在多于一个解但是少于无限多个解的情况是不可能发生的；因为如果$x$和$y$都是某方程组的解，则

$$z=ax+(1-a)y$$
（其中 $a$取任意实数）也是该方程组的解。

8.4.1 线性相关与线性无关

　　为了分析方程有多少个解，我们可以将$A$的列向量看作是从 原点（origin）（元素都是零的向量）出发的不同方向，确定有多少种方法可以到达向量 $b$。在这个观点下，向量$x$中的每个元素表示我们应该沿着这些方向走多远，即 $x_i$表示我们需要沿着第 $i$个向量的方向走多远：

$$Ax=\sum_ix_iA_{:,i}.$$
　　一般而言，这种操作被称为 线性组合（linear combination）。形式上，一组向量的线性组合，是指每个向量乘以对应标量系数之后的和，即：
$$\sum_ic_iv^{(i)}.$$

　　确定$Ax=b$是否有解相当于确定向量$b$是否在$A$列向量的生成子空间中。这个特殊的生成子空间被称为$A$的列空间（column space）或者$A$的值域（range）。
　　为了使方程$Ax=b$对于任意向量$b\in\mathbb R^m$都存在解，我们要求$A$的列空间构成整个$\mathbb R^m$。如果$\mathbb R^m$中的某个点不在$A$的列空间中，那么该点对应的$b$会使得该方程没有解。矩阵$A$的列空间是整个$\mathbb R^m$的要求，意味着$A$至少有$m$列，即$n \ge m$。否则，$A$列空间的维数会小于$m$。例如，假设$A$是一个$3\times 2$的矩阵。目标$b$是$3$维的，但是$x$只有$2$维。所以无论如何修改$x$的值，也只能描绘出$\mathbb R^3$空间中的二维平面。当且仅当向量$b$在该二维平面中时，该方程有解。
　　不等式$n \ge m$仅是方程对每一点都有解的必要条件。这不是一个充分条件，因为有些列向量可能是冗余的。假设有一个$\mathbb R^{2\times2}$中的矩阵，它的两个列向量是相同的。那么它的列空间和它的一个列向量作为矩阵的列空间是一样的。换言之，虽然该矩阵有$2$列，但是它的列空间仍然只是一条线，不能涵盖整个$\mathbb R^2$空间。
　　正式地说，这种冗余被称为线性相关（linear dependence）。如果一组向量中的任意一个向量都不能表示成其他向量的线性组合，那么这组向量被称为线性无关（linearly independent）。如果某个向量是一组向量中某些向量的线性组合，那么我们将这个向量加入到这组向量后不会增加这组向量的生成子空间。这意味着，如果一个矩阵的列空间涵盖整个$\mathbb R^m$，那么该矩阵必须包含至少一组$m$个线性无关的向量。这是式$Ax=b$对于每一个向量$b$的取值都有解的充分必要条件。值得注意的是，这个条件是说该向量恰好有$m$个线性无关的列向量，而不是至少$m$个。不存在一个$m$维向量的集合具有多于$m$个彼此线性不相关的列向量，但是一个有多于$m$个列向量的矩阵却有可能拥有不止一个大小为$m$的线性无关向量集。
　　让我们举几个关于线性无关和线性相关的例子。首先是线性无关的例子。

例1
因为$\begin{bmatrix} 0 \\0 \\0 \end{bmatrix}=c_1\begin{bmatrix}1 \\0 \\0 \end{bmatrix} +c_2\begin{bmatrix}0 \\1 \\0 \end{bmatrix} +c_3\begin{bmatrix}0 \\0 \\1 \end{bmatrix}$的解，只有以下解

$$\begin{equation} \left\{ \begin{array}{lr} c_1=0& \\ c_2=0&\\ c_3=0& \end{array} \right. \end{equation}$$
所以向量 $\begin{bmatrix} 1 \\0 \\0 \end{bmatrix}$、向量 $\begin{bmatrix} 0 \\1 \\0 \end{bmatrix}$、向量 $\begin{bmatrix} 0 \\0 \\1 \end{bmatrix}$线性无关。
例2
因为 $\begin{bmatrix} 0 \\0 \\0 \end{bmatrix}=c_1\begin{bmatrix}1 \\0 \\0 \end{bmatrix} +c_2\begin{bmatrix}0 \\1 \\0 \end{bmatrix}$的解，只有以下解 $$\begin{equation} \left\{ \begin{array}{lr} c_1=0& \\ c_2=0& \end{array} \right. \end{equation}$$
所以向量 $\begin{bmatrix} 1 \\0 \\0 \end{bmatrix}$、向量 $\begin{bmatrix} 0 \\1 \\0 \end{bmatrix}$线性无关。

关于线性相关的例子　

例3
因为$\begin{bmatrix} 0 \\0 \\0 \end{bmatrix}=c_1\begin{bmatrix}1 \\0 \\0 \end{bmatrix} +c_2\begin{bmatrix}0 \\1 \\0 \end{bmatrix} +c_3\begin{bmatrix}3 \\1 \\0 \end{bmatrix}$的解，不仅有以下解

$$\begin{equation} \left\{ \begin{array}{lr} c_1=0& \\ c_2=0&\\ c_3=0& \end{array} \right. \end{equation}$$
，还有
$$\begin{equation} \left\{ \begin{array}{lr} c_1=3& \\ c_2=1&\\ c_3=-1& \end{array} \right. \end{equation}$$
等解。
所以向量 $\begin{bmatrix} 1 \\0 \\0 \end{bmatrix}$、向量 $\begin{bmatrix} 3 \\1 \\0 \end{bmatrix}$线性相关。
例2
因为 $\begin{bmatrix} 0 \\0 \\0 \end{bmatrix}=c_1\begin{bmatrix}1 \\0 \\0 \end{bmatrix} +c_2\begin{bmatrix}0 \\1 \\0 \end{bmatrix} +c_3\begin{bmatrix}0 \\0 \\1 \end{bmatrix}+c_4\begin{bmatrix}a_1 \\a_2 \\a_3 \end{bmatrix}$的解，不仅有以下解
$$\begin{equation} \left\{ \begin{array}{lr} c_1=0& \\ c_2=0&\\ c_3=0& \\ c_4=0 \end{array} \right. \end{equation}$$
，还有
$$\begin{equation} \left\{ \begin{array}{lr} c_1=a_1& \\ c_2=a_2&\\ c_3=a_3 & \\ c_4=-1 \end{array} \right. \end{equation}$$
等解，所以向量 $\begin{bmatrix} 1 \\0 \\0 \end{bmatrix}$、向量 $\begin{bmatrix} 0 \\1 \\0 \end{bmatrix}$、向量 $\begin{bmatrix} 0 \\0 \\1 \end{bmatrix}$、向量 $\begin{bmatrix} a_1 \\a_2 \\a_3 \end{bmatrix}$线性相关。
　　同样，因为 $\begin{bmatrix} 0 \\0 \\\vdots\\0 \end{bmatrix}=c_1\begin{bmatrix}1 \\0 \\\vdots\\0 \end{bmatrix} +c_2\begin{bmatrix}0 \\1 \\\vdots\\0 \end{bmatrix} +\cdots+c_m\begin{bmatrix}0 \\0 \\\vdots\\1 \end{bmatrix}+c_{m+1}\begin{bmatrix}a_1 \\a_2 \\\vdots\\a_m \end{bmatrix}$的解，不仅有以下解
$$\begin{equation} \left\{ \begin{array}{lr} c_1&=&0 \\ c_2&=&0\\ &\vdots \\ c_m&=&0 \\ c_{m+1}&=&0 \end{array} \right. \end{equation}$$
，还有
$$\begin{equation} \left\{ \begin{array}{lr} c_1&=&a_1 \\ c_2&=&a_2\\ &\vdots \\ c_m&=&a_m \\ c_{m+1}&=&-1 \end{array} \right. \end{equation}$$
等解，所以向量 $\begin{bmatrix} 1 \\0 \\\vdots\\0 \end{bmatrix}$、向量 $\begin{bmatrix} 0 \\1 \\\vdots\\0 \end{bmatrix}$、向量 $\begin{bmatrix} 0 \\0 \\\vdots\\1 \end{bmatrix}$、向量 $\begin{bmatrix} a_1 \\a_2 \\\vdots\\a_m \end{bmatrix}$线性相关。

8.4.2 基

　　对于$\mathbb R^m$的任意元素向量$\begin{bmatrix} y_1 \\y_2 \\\vdots\\y_m \end{bmatrix}$，当$\begin{bmatrix} y_1 \\y_2 \\\vdots\\y_m \end{bmatrix}=c_1\begin{bmatrix}a_{11} \\a_{21} \\\vdots\\a_{m1} \end{bmatrix} +c_2\begin{bmatrix}a_{12} \\a_{22} \\\vdots\\a_{m2} \end{bmatrix} +\cdots+c_n\begin{bmatrix}a_{1n} \\a_{2n} \\\vdots\\a_{mn} \end{bmatrix}$只有一组解时，我们把集合

$$\begin{equation} \left\{\begin{bmatrix}a_{11} \\a_{21} \\\vdots\\a_{m1} \end{bmatrix} ,\begin{bmatrix}a_{12} \\a_{22} \\\vdots\\a_{m2} \end{bmatrix} ,\cdots,\begin{bmatrix}a_{1n} \\a_{2n} \\\vdots\\a_{mn} \end{bmatrix}\right\}\end{equation}$$ 称作基。
基是为了表示 $\mathbb R^m$的任意元素所必需的最少向量构成的集合。因此，线性无关是限定零向量的概念，基是以 $\mathbb R^m$的所有向量为对象的概念。

8.4.3 子空间

　　假设$c$为任意实数。若$\mathbb R^m$的子集$W$满足这两个条件：
1. $W$的任意元素的$c$倍也是$W$的元素。
2. $W$的任意元素的和也是$W$的元素。
　　即满足这两个条件时，
1. 如果$\begin{bmatrix}a_{1i}\\a_{2i}\\\vdots\\a_{mi}\end{bmatrix}\in W$，那么$c\begin{bmatrix}a_{1i}\\a_{2i}\\\vdots\\a_{mi}\end{bmatrix}\in W$。
2. 如果$\begin{bmatrix}a_{1i}\\a_{2i}\\\vdots\\a_{mi}\end{bmatrix}\in W$并且$\begin{bmatrix}a_{1j}\\a_{2j}\\\vdots\\a_{mj}\end{bmatrix}\in W$，那么$\begin{bmatrix}a_{1i}\\a_{2i}\\\vdots\\a_{mi}\end{bmatrix}+\begin{bmatrix}a_{1j}\\a_{2j}\\\vdots\\a_{mj}\end{bmatrix}\in W$。
　　我们就把$W$叫做$\mathbb R^m$的线性子空间，简称子空间。一组向量的线性子空间是原始向量线性组合后所能抵达的点的集合。

　　要想使矩阵可逆，我们还需要保证式$Ax=b$对于每一个$b$值至多有一个解。为此，我们需要确保该矩阵至多有$m$个列向量。否则，该方程会有不止一个解。
　　综上所述，这意味着该矩阵必须是一个方阵（square），即$m = n$，并且所有列向量都是线性无关的。一个列向量线性相关的方阵被称为奇异的（singular）。
　　如果矩阵$A$不是一个方阵或者是一个奇异的方阵，该方程仍然可能有解。但是我们不能使用矩阵逆去求解。
　　目前位置，我们已经讨论了逆矩阵左乘。我们也可以定义逆矩阵右乘：

$$AA^{-1}=I.$$
对于方阵而言，它的左逆和右逆是相等的。