线性代数的本质（二）

3 线性方程组

3.1 逆变换与逆矩阵

若向量$\mathbf{v}$经过$\mathbf{A}$变换后可以经过另一种变换$\mathbf{B}$还原，则称$\mathbf{A}$变换是可逆的。
例如，矩阵$\mathbf{A}=\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$表示逆时针旋转$90°$的变换，则$\mathbf{A}$的逆变换就是顺时针旋转$90°$，即：$\mathbf{B}=\left[\begin{array}{cc}0& 1\\ -1& 0\end{array}\right]$。

即：矩阵$\mathbf{B}$是矩阵$\mathbf{A}$的逆矩阵。

显然，逆矩阵与自身的乘积是单位矩阵：$${\mathbf{A}}^{-1}\mathbf{A}=\mathbf{E}$$可以理解为什么都不做。

像$\mathbf{A}$变换这样的变换称为恒等变换。
若$\mathbf{A}$变换降低了空间的维度，此时$\det \left(\mathbf{A}\right)=0$，我们称$\mathbf{A}$变换为不可逆变换。例如一个变换将一个平面压缩成一条直线，此时就没有逆变换，因为不能将一条直线解压缩成一个平面。否则就会映射出多个向量，但函数只能将一个输入变成一个输出，变换也是如此。

线性变换只存在等维变换和降维变换，不可能升高空间的维度。在平面内的两个任意向量的任意线性组合都不可能表示成一个与它们不共面的向量，即使是在三维空间中，也不存在升维的线性变换。
矩阵的逆存在，当且仅当矩阵的行列式不为零，或者说，变换矩阵是可逆变换。

3.2 非齐次线性方程组的求解

假设有线性方程组：
$$\{\begin{array}{rl}2x+5y+3z& =-3\\ 4x+0y+8z& =0\\ 1x+3y+0z& =2\end{array}$$
可以将其写成矩阵向量乘积的形式：
$$\left[\begin{array}{ccc}2& 5& 3\\ 4& 0& 8\\ 1& 3& 0\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}-3\\ 0\\ 2\end{array}\right]$$即：
$$\mathbf{Ax}=\mathbf{v}$$由于矩阵$\mathbf{A}$代表一种线性变换，所以求解方程组实质（几何意义）是寻找一个向量$\mathbf{x}$使它经过$\mathbf{A}$变换后与向量$\mathbf{v}$重合。
要求解向量$\mathbf{x}$，则反过来，从向量$\mathbf{v}$逆变换到向量$\mathbf{x}$。

对于方程$\mathbf{Ax}=\mathbf{v}$，当$\det \left(\mathbf{A}\right)\ne 0$时，左乘${\mathbf{A}}^{-1}$得：
$${\mathbf{A}}^{-1}\mathbf{Ax}={\mathbf{A}}^{-1}\mathbf{v}$$由于${\mathbf{A}}^{-1}\mathbf{A}$是恒等变换，就有$$\mathbf{x}={\mathbf{A}}^{-1}\mathbf{v}$$因此，求解向量$\mathbf{x}$，可以对向量$\mathbf{v}$进行$\mathbf{A}$的逆变换。

对于方程$\mathbf{Ax}=\mathbf{v}$，如果$\det \left(\mathbf{A}\right)\ne 0$，则$\mathbf{A}$变换不会改变空间维度，因此有且仅有一个向量$\mathbf{x}$经过$\mathbf{A}$变换后与向量$\mathbf{v}$重合，即方程有唯一解。
当$\det \left(\mathbf{A}\right)=0$时，$\mathbf{A}$变换会将空间压缩到更低维度，此时必然出现多个向量压缩后重合的现象，因此没有逆变换，因为不能将一条直线解压缩成一个平面。

但方程仍然可能有解。例如，$\mathbf{A}$变换将三维空间压缩成一个二维平面，而向量$\mathbf{v}$刚好处于这个平面上，能在空间压缩后与向量$\mathbf{v}$重合的向量$\mathbf{x}$有无数个，所以此时方程有无穷多解。如果$\mathbf{A}$变换将空间压缩成一条直线，而向量$\mathbf{v}$刚好处于这条直线上，此时，会有更多的空间向量$\mathbf{x}$压缩后能与向量$\mathbf{v}$重合，而这些向量向量$\mathbf{x}$是由某些向量的线性组合表示的（这个问题后面会重点讲解），所以此时方程有无穷多解。
当一个线性变换将三维空间缩成一条直线时，与压缩成平面相比，解存在的难度更高了。

3.3 列空间

矩阵$\mathbf{A}$的秩为经过矩阵$\mathbf{A}$变换后的空间的维度，记为$\mathrm{R}\left(\mathbf{A}\right)$。
当$\mathbf{A}$变换的结果是一条直线时，结果是一维的，称这个变换的秩是1；当$\mathbf{A}$变换后的向量落在某个二维平面上时，称这个变换的秩是2。
向量$\mathbf{x}$通过线性变换矩阵$\mathbf{A}$变换得到的所有可能的输出向量所构成的集合，称为矩阵$\mathbf{A}$的列空间，也就是所有可能的输出向量$\mathbf{Ax}$构成的集合。前面讲过，矩阵的列向量可看作其变换后空间的基向量，换句话说，列空间就是矩阵的列向量所张成的空间。
矩阵的秩更精确的定义是矩阵列空间的维度。
零向量一定在列空间中，因为线性变换必须保持原点不变；矩阵的秩也可看做是矩阵列空间的维度。
当秩达到最大时，秩与列数相等，称之为满秩。

3.4 零空间与齐次线性方程组

对于满秩的线性变换，只有零向量在变换后会落在原点。而对于非满秩的变换，它会将空间压缩到更低的维度上，因而会有一系列向量在变换后成为零向量。
如下图，左边直线上的所有向量在经过非满秩变换之后，全部降维为右边的一个点（黄色点）。
变换后落在原点的向量的集合，称为矩阵的零空间。即：
{ x ∣ A x = 0 } \left\{ \left. \boldsymbol{x} \right|\boldsymbol{Ax}=0 \right\} {x∣Ax=0}变换后一些向量落在零向量上，而零空间正是这些向量所构成的空间。对齐次线性方程组来说，零空间给出的就是方程所有可能的解。
当$\det \left(\mathbf{A}\right)\ne 0$时，零空间里只有零向量，齐次线性方程组只有零解。
当$\det \left(\mathbf{A}\right)=0$时，零空间存在非零向量，齐次线性方程组有非零解。

综合来看，线性方程组$\mathbf{Ax}=\mathbf{v}$和$\mathbf{Ax}=0$求解的实质，就是寻找一个向量$\mathbf{x}$使它经过$\mathbf{A}$变换后，与向量$\mathbf{v}$重合或成为零向量。换言之，在矩阵$\mathbf{A}$的列空间中寻找$\mathbf{v}$向量或零向量。

4 非方阵

到目前为止，讨论的变换都是等维度向量间的变换，那么会不会出现向量维度升高或者降低的变换呢？答案是肯定的。向量是可能从输入空间的二维输出一个三维向量的。

4.1 非方阵变换矩阵的实质

前面讲过，可以把矩阵的列向量看作是变换后的基向量，对于一个非方阵，同样可以这样理解。
例如，非方阵变换矩阵
$$\left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right]$$可以认为是把基向量$\mathbf{i}$和$\mathbf{j}$（$\mathbf{i}$和$\mathbf{j}$是二维向量）分别变换成${\left[\begin{array}{ccc}1& 3& 5\end{array}\right]}^T$和${\left[\begin{array}{ccc}2& 4& 6\end{array}\right]}^T$。矩阵有两列，表明原始空间有两个基向量；矩阵有三行，表明每个基向量在变换后都用三个独立的坐标来描述，也就是变换后的两个向量是三维的。
同样地，对于矩阵
$$\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]$$就可以理解成把三维空间的基向量$\mathbf{i}$、$\mathbf{j}$、$\mathbf{k}$（$\mathbf{i}$、$\mathbf{j}$、$\mathbf{k}$是三维向量）分别变换成向量$\left[\begin{array}{c}1\\ 4\end{array}\right]$，$\left[\begin{array}{c}2\\ 5\end{array}\right]$和$\left[\begin{array}{c}3\\ 6\end{array}\right]$。矩阵是两行三列，表明原始空间有三个基向量，变换后的三个向量是二维的。
实际上，对于一个$m\times n$的非方阵，实际是把一个$\mathbf{n}$维向量转换为$\mathbf{m}$维向量。

4.2 几何意义

从几何空间的角度来考虑，对于矩阵$$\left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right]$$列空间是由两个三维向量张成的空间，即三维空间中的一个平面。
$$\left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right]\left[\begin{array}{c}1\\ 4\end{array}\right]$$的几何意义就是将一个二维向量映射到三维空间中的一个平面。
$$\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]\left[\begin{array}{c}1\\ 3\\ 5\end{array}\right]$$的几何意义就是将一个三维向量映射到二维平面。
同样地，$$\left[\begin{array}{cc}1& 4\end{array}\right]\left[\begin{array}{c}1\\ 4\end{array}\right]$$表示把二维向量映射到一维，结果是一个数值。
$$\left[\begin{array}{c}1\\ 4\end{array}\right]4$$表示把一维向量（即数值标量）映射到二维平面。因此向量数乘的几何意义就是将标量映射到二维平面。

4.3 非方阵的变换

4.3.1 矩阵行数大于列数

若向量$\mathbf{x}={\left[\begin{array}{cc}m& n\end{array}\right]}^T$经过变换$\mathbf{A}=\left[\begin{array}{cc}a& b\\ c& d\\ e& f\end{array}\right]$后变成向量$\mathbf{v}={\left[\begin{array}{ccc}x& y& z\end{array}\right]}^T$，即$\mathbf{Ax}=\mathbf{v}$
经过$\mathbf{A}$变换后，二维空间里的向量$\mathbf{x}$变成了三维空间里的向量$\mathbf{v}$。因此当线性变换矩阵$\mathbf{A}$的行数大于列数时，此线性变换实际上是一个向量的升维操作。这一点在理解了4.2节非方阵变换的几何意义后很好理解。

变换后的所有可能的向量$\mathbf{v}$所构成的空间为矩阵$\mathbf{A}$的所有列向量所张成的空间。而矩阵$\mathbf{A}$只有两个三维列向量，因此$\mathbf{A}$的列空间仍是二维的，即两个列向量在三维空间中所张成的一个二维平面。变换后的列空间与变换前维度相同，所以$\mathbf{A}$是满秩的。

4.3.2 矩阵行数小于列数

若三维向量$\mathbf{v}={\left[\begin{array}{ccc}x& y& z\end{array}\right]}^T$经过变换$\mathbf{A}=\left[\begin{array}{ccc}a& b& c\\ d& e& f\end{array}\right]$后变成向量$\mathbf{x}={\left[\begin{array}{cc}x& y\end{array}\right]}^T$，即$\mathbf{Av}=\mathbf{x}$

因此，若线性变换矩阵的行数小于列数，此线性变换实际上是一个向量降维的操作。矩阵有三个二维列向量，只能张成二维空间。此时变换后列空间的维度与原始空间维度不同。

4.4 非方阵的变换复合

两个变换复合，就是两个矩阵相乘。矩阵为非方阵时，相乘的条件是左边矩阵的列数等于右边矩阵的行数。
现有矩阵$\mathbf{A}=\left[\begin{array}{cc}a& b\\ c& d\\ e& f\end{array}\right]$和$\mathbf{B}=\left[\begin{array}{ccc}g& h& i\\ j& k& l\end{array}\right]$(其中$\mathbf{A}$和$\mathbf{B}$满秩），以及向量$\mathbf{x}={\left[\begin{array}{cc}m& n\end{array}\right]}^T$和向量$\mathbf{v}={\left[\begin{array}{ccc}x& y& z\end{array}\right]}^T$

$\mathbf{BA}$变换：若对向量$\mathbf{x}$先进行$\mathbf{A}$变换，即$\mathbf{Ax}$，在此过程中，向量$\mathbf{x}$先从二维变成三维，此时所有可能的向量$\mathbf{Ax}$构成的空间是在三维空间中的一个二维平面；然后再进行$\mathbf{B}$变换，即$\mathbf{BAx}$，向量$\mathbf{Ax}$从三维变成二维。此时所有可能的向量$\mathbf{BAx}$构成的空间从三维空间中的二维平面变成一个二维平面空间。
在此变换过程中，所有可能的向量$\mathbf{x}$构成的空间一直都是一个二维平面，因此向量$\mathbf{x}$没有信息损失，即经过变换，可以从$\mathbf{BAx}$中完整地恢复$\mathbf{x}$的信息。

$\mathbf{AB}$变换：若对向量$\mathbf{v}$先进行$\mathbf{B}$变换，即$\mathbf{Bv}$，此时，向量 $\mathbf{v}$三维向量变成二维向量，注意，在变换之前，所有可能的向量$\mathbf{v}$构成的空间应该是三维立体空间，而在变换之后，所有可能的向量$\mathbf{Bv}$构成的空间变成了二维平面空间，此过程中向量$\mathbf{v}$出现信息损失；然后再进行$\mathbf{A}$变换，即$\mathbf{ABv}$，向量$\mathbf{Bv}$从二维向量变成三维向量，此时所有可能的向量$\mathbf{ABv}$构成的空间变成了在三维空间中的一个二维平面。
在整个变换过程中，所有可能的向量$\mathbf{v}$构成的空间从三维立体变成了二维平面，因此向量$\mathbf{v}$必然有信息损失。即无法通过变换，从$\mathbf{ABv}$中完整恢复$\mathbf{v}$的信息。

综上来看，矩阵$\mathbf{BA}$的列空间是二维平面（或者$\mathbf{BA}$变换未改变维度），因此$\mathbf{BA}$是可逆的，满秩；而矩阵$\mathbf{AB}$的列空间是三维空间中的一个二维平面（改变了空间维度），因此$\mathbf{AB}$不可逆，不满秩。

4.5 非方阵系数矩阵的线性方程组

前面讲过，求解方程组$\mathbf{Ax}=\mathbf{v}$和$\mathbf{Ax}=0$的实质就是寻找一个向量$\mathbf{x}$使它经过$\mathbf{A}$变换后，与向量$\mathbf{v}$重合或成为零向量，也就是在矩阵$\mathbf{A}$的列空间中寻找$\mathbf{v}$向量或零向量。

当矩阵$\mathbf{A}$的行数大于列数时（例如$3\times 2$的满秩矩阵$\mathbf{A}$），矩阵$\mathbf{A}$的列空间是三维空间中的一个二维平面，因此，只有当向量$\mathbf{v}$位于这个二维平面上时，方程$\mathbf{Ax}=\mathbf{v}$有解，且解唯一，因为不存在多个向量$\mathbf{x}$经过变换后与向量$\mathbf{v}$重合。经过$\mathbf{A}$变换后没有不为零的向量$\mathbf{x}$落在零向量上，因此方程$\mathbf{Ax}=0$只有零解。

当矩阵$\mathbf{A}$的行数小于列数时（例如$2\times 3$的满秩矩阵$\mathbf{A}$），矩阵$\mathbf{A}$的列空间是二维平面空间。向量$\mathbf{v}$一定位于这个二维平面上，因此方程$\mathbf{Ax}=\mathbf{v}$有解。由于$\mathbf{A}$变换将空间压缩，必然存在多个向量$\mathbf{x}$经变换后与向量$\mathbf{v}$重合，因此$\mathbf{Ax}=\mathbf{v}$有无穷多解。且有非零向量经变换后落在零向量上，因此 $\mathbf{Ax}=0$有非零解。

参考文献

1. UP主汉语配音-【线性代数的本质】合集-转载于3Blue1Brown官方双语】
2. 【熟肉】线性代数的本质 - 01 - 向量究竟是什么？
3. 线性代数的本质（完整版）