机器学习中的数学——线性相关和生成子空间

分类目录：《算法设计与分析》总目录

---

如果逆矩阵$A^{-1}$存在，我们在《机器学习中的数学——单位矩阵和逆矩阵》中可以得到：$Ax=b$对于每一个向量$b$恰好存在一个解。但是，对于方程组而言，对于向量$b$的某些值，有可能不存在解，或者存在无限多个解。存在多于一个解但是少于无限多个解的情况是不可能发生的；因为如果$x$和$y$都是某方程组的解，则$z=\alpha x+(1-\alpha )y$（其中$\alpha$取任意实数）也是该方程组的解。

为了分析方程有多少个解，我们可以将$A$的列向量看作从原点出发的不同方向，确定有多少种方法可以到达向量$b$。在这个观点下，向量$x$中的每个元素表示我们应该沿着这些方向走多远，即$x_i$表示我们需要沿着第$i$个向量的方向走多远，即：$Ax={\sum }_i{x}_i{A}_{:,i}$一般而言，这种操作被称为线性组合。形式上，一组向量的线性组合，是指每个向量乘以对应标量系数之后的和，即：${\sum }_i{c}_i{v}^{(i)}$。一组向量的生成子空间是原始向量线性组合后所能抵达的点的集合。

确定$Ax=b$是否有解相当于确定向量$b$是否在$A$列向量的生成子空间中。这个特殊的生成子空间被称为$A$的列空间或者A的值域。

为了使方程$Ax=b$对于任意向量$b\in R^m$都存在解，我们要求$A$的列空间构成整个$R^m$。如果$R^m$中的某个点不在$A$的列空间中，那么该点对应的$b$会使得该方程没有解。矩阵$A$的列空间是整个$R^m$的要求，意味着$A$至少有$m$列，即$n\ge m$。否则，$A$列空间的维数会小于$m$。例如，假设$A$是一个$3\times 2$的矩阵。目标$b$是3维的，但是$x$只有2维。所以无论如何修改$x$的值，也只能描绘出$R^3$空间中的二维平面。当且仅当向量$b$在该二维平面中时，该方程有解。

不等式$n\ge m$仅是方程对每一点都有解的必要条件。这不是一个充分条件，因为有些列向量可能是冗余的。假设有一个$R^{2\times 2}$中的矩阵，它的两个列向量是相同的。那么它的列空间和它的一个列向量作为矩阵的列空间是一样的。换言之，虽然该矩阵有2列，但是它的列空间仍然只是一条线，不能涵盖整个$R^2$空间。

正式地说，这种冗余被称为线性相关。如果一组向量中的任意一个向量都不能表示成其他向量的线性组合，那么这组向量称为线性无关。如果某个向量是一组向量中某些向量的线性组合，那么我们将这个向量加入这组向量后不会增加这组向量的生成子空间。这意味着，如果一个矩阵的列空间涵盖整个$R^m$，那么该矩阵必须包含至少一组$m$个线性无关的向量。

这是$Ax=b$对于每一个向量$b$的取值都有解的充分必要条件。值得注意的是，这个条件是说该向量集恰好有$m$个线性无关的列向量，而不是至少$m$个。不存在一个$m$维向量的集合具有多于$m$个彼此线性不相关的列向量，但是一个有多于$m$个列向量的矩阵有可能拥有不止一个大小为$m$的线性无关向量集。

要想使矩阵可逆，我们还需要保证$Ax=b$对于每一个$b$值至多有一个解。为此，我们需要确保该矩阵至多有$m$个列向量。否则，该方程会有不止一个解。

综上所述，这意味着该矩阵必须是一个方阵，即$m=n$，并且所有列向量都是线性无关的。一个列向量线性相关的方阵被称为奇异的。如果矩阵$A$不是一个方阵或者是一个奇异的方阵，该方程仍然可能有解。但是我们不能使用矩阵逆去求解。