学习笔记|线性代数中有关方程Ax=b的各重要结论及问答

##结论

1. 矩阵$A$的列空间是整个$R^m$的要求，意味着$A$至少有$m$列，即$n\ge m$。否则，$A$列空间的维数会小于$m$。
2. 如果一个矩阵的列空间涵盖整个$R^m$，那么该矩阵必须包含至少一组m个线性无关的向量。这是式$Ax=b$对于每一个向量$b$的取值都有解的充分必要条件。值得注意的是，这个条件是说该向量集恰好有$m$个线性无关的列向量，而不是至少$m$个。
3. 不存在一个$m$维向量的集合具有多于$m$个彼此线性不相关的列向量，但是一个有多于$m$个列向量的矩阵有可能拥有不止一个大小为$m$的线性无关向量集。
4. 要想使矩阵可逆，我们除需要矩阵$A$有$m$个线性无关的列向量外还需要保证式$Ax=b$对于每一个$b$值至多有一个解。为此，我们需要确保该矩阵至多有$m$个列向量。否则，该方程会有不止一个解。
5. 一个列向量线性相关的方阵被称为奇异的（singular）。如果矩阵$A$不是一个方阵或者是一个奇异的方阵，该方程仍然可能有解。但是我们不能使用矩阵逆去求解。
6. 如果逆矩阵$A^{-1}$存在，那么式$Ax=b$肯定对于每一个向量$b$恰好存在一个解。但是，对于方程组而言，对于向量$b$的某些值，有可能不存在解，或者存在无限多个解。存在多于一个解但是少于无限多个解的情况是不可能发生的。
7. 如果矩阵$A$可逆，则方程一定有且仅有一个解。（注意$A$可逆是充分不必要条件）

注：
①$A$是一个矩阵，其形状为$m\times n$。$x$和$b$分别是维度为$n$和$m$的向量。矩阵$A$可以看成$n$个$m$维向量的集合。$b$即为$A$的列向量的线性组合，组合的系数即为$x$中的各元素。
②一组向量的生成子空间（span）是原始向量线性组合后所能抵达的点的集合。确定$Ax=b$是否有解，相当于确定向量$b$是否在$A$列向量的生成子空间中。这个特殊的生成子空间被称为$A$的列空间（column space）或者$A$的值域（range）。
③如果一组向量中的任意一个向量都不能表示成其他向量的线性组合，那么这组向量称为线性无关（linearly independent）。
##问答

1. Q：结论1中为什么$A$至少要有$m$列？
   A：假设$A$是一个3×2的矩阵。目标$b$是3维的，但是$x$只有2维。所以无论如何修改$x$的值，也只能描绘出$R^3$空间中的二维平面。当且仅当向量$b$在该二维平面中时，该方程有解。
2. Q：结论3中为什么说一个“不存在一个$m$维向量的集合具有多于$m$个彼此线性不相关的列向量”？
   A：由结论2可知如果一个$m$维向量的集合拥有$m$个彼此线性不相关的列向量，则这些列向量的线性组合可以覆盖$R^m$中的任何一点，所以如果有$m+1$个彼此线性不相关的列向量，则多出来的1个列向量一定可以由前$m$个列向量线性表示。
3. Q：结论4中为什么需要矩阵$A$最多有$m$个列向量？
   A：如果矩阵$A$既有$m$个线性无关的列向量且$A$的列向量个数大于$m$,则由结论3可知$A$可能拥有不止一个大小为$m$的线性无关向量集，每个线性无关向量集都可以通过线性组合得到向量$b$,则方程组的解一定不唯一。
4. Q：如何解释结论7？
   A：$A$可逆，则可解得$x$为$A^{-1}b$,如果方程解不唯一，则存在$x\ne A^{-1}b$，则$Ax\ne b$，所以方程有唯一解。

######(参考资料：《深度学习》)