2.4 线性相关和张成空间

声明：该文章翻译自MIT出版的《DEEP LEARNING》，博主会定期更新文章内容。由于博主能力有限，中间有过错之处希望大家给予批评指正，一起学习交流。

为了使 $\boldsymbol{A^{-1}}$ 存在，等式 $\boldsymbol{Ax}=\boldsymbol{b}$ 对每个$\boldsymbol{b}$ 值有一个解。然而等式对某些 $\boldsymbol{b}$ 值可能没有解或有无限多个解。对某个 $\boldsymbol{b}$ 值不可能有几个解；如果 $\boldsymbol{x}$ 和 $\boldsymbol{y}$ 是解的话，那么

$$\boldsymbol{z}=\alpha\boldsymbol{x}+(1-\alpha)\boldsymbol{y}$$ 也是一个解，其中 $\alpha$ 为实数。
为了分析等式解的个数，我们将矩阵 $\boldsymbol{A}$的列看作是从原点（指定值全为零的向量）出发的不同方向。从这个角度看， $\boldsymbol{x}$ 每个元素指定了每个方向上需要的距离，例如： $x_i$ 指定了在 $i$ 列的方向上移动了多远： $$\boldsymbol{Ax}=\sum_{i}x_i\boldsymbol{A_{:,i}}$$ 一般这种运算叫做线性组合。正式地，向量 $\{\boldsymbol{v^{(1)},...,v^{(n)}}\}$ 某些集合的线性组合可以通过给每个向量乘以一个标量系数并相加得到： $$\sum_{i}c_i\boldsymbol{v^{(i)}}$$ 一个向量集合的张成空间是原始向量线性组合得到的所有点的集合。
所以确定 $\boldsymbol{Ax}=\boldsymbol{b}$ 是否有一个解等价于测试 $\boldsymbol{b}$ 是否在矩阵 $\boldsymbol{A}$ 列的张成空间中。
为了使 $\boldsymbol{Ax}=\boldsymbol{b}$ 对所有 $\boldsymbol{b}\in {\rm R^m}$ 值都有一个解，我们需要 $\boldsymbol{A}$ 的列空间属于 $\rm R^m$ 。如果 $\rm R^m$ 中的任何一个点不在列空间里，这么这个点就是没有解的 $\boldsymbol{b}$ 值。这表明 $\boldsymbol{A}$ 至少有 $m$ 列，即 $n\geq m$ 。否则，列空间的维数一定小于 $m$ 。例如：考虑一个 $3\times2$ 矩阵。目标 $\boldsymbol{b}$ 是一个三维的，但是 $\boldsymbol{x}$ 仅仅是一个二维的，所以我们顶多可以修改的 $\boldsymbol{x}$ 值来画出 ${\rm R^3}$ 里的一个二维平面。
$n\geq m$ 是每个点有一个解的必要条件，不是充分条件，因为一些列可能是冗余的。考虑一个 $2\times2$ 矩阵，两列彼此相等。它其实等价于一个 $2\times1$ 矩阵。也就是说，列空间仅仅是一列，不能包含所有的 $\rm R^2$。
正式地，这种冗余叫做线性相关。如果一个向量集合中，每个向量都不是其它向量的线性组合，那么这个向量集合是线性无关的。如果我们增加一个向量到这个集合中，其中该向量是这个集合中其它向量的线性组合，那么新向量没有向集合的张成空间中增加任何点。这意味着为了让矩阵的列空间包含所有的 $\rm R^m$ ，这个矩阵至少包含一个集合，该集合有 $m$ 个线性无关列。这个条件是等式$\boldsymbol{Ax}=\boldsymbol{b}$ 对每个 $\boldsymbol{b}$ 有一个解的充分必要条件。注意，要求是对每个集合有 $m$ 个线性无关列，不是至少$m$。 $m-$维向量的集合不会有超过 $m$个的线性无关列，但是超过$m$列的矩阵可能有多个这样的集合。
为了让矩阵有逆，我们还需要确保 $\boldsymbol{Ax}=\boldsymbol{b}$对每个 $\boldsymbol{b}$至多有一个解。为了实现这个，我们需要确保矩阵最多有 $m$列。否则，就有多种参数化解（there is more than one way of parametrizing each solution）。
同时，这意味着矩阵必须是方阵，也就是说，我们需要$m=n$ 并且所有的列示线性无关的。线性相关的方阵叫做奇异的。
如果 $\boldsymbol{A}$不是方阵或者说是方阵但是是奇异的，它依然可以解决等式。然而，我们不能用矩阵逆的方法来求解。
目前我们已经将矩阵逆乘在左边进行了讨论。也可以定义其乘在右边： $$\boldsymbol{AA^{-1}}=\boldsymbol{I}$$ 对于方阵，左逆和右逆是相等的。