线性代数的本质（四）

6 特征值与特征向量

6.1 特征值与特征向量的几何意义

在线性变换过程中，大部分向量经过线性变换都离开了它所张成的空间；但也有一部分向量留在了它所张成的空间，线性变换对这些向量只会产生拉伸或者缩放变换。

线性变换后留在自身张成的空间中（直线）的向量，称为特征向量。特征向量经过线性变换后不发生旋转，只会拉伸或者缩放，而衡量特征向量在变换中拉伸或压缩比例的因子，就是特征值，特征值为负值时表示向量被反向拉伸或者缩放。

如果属于同一特征值的任意$n$个向量线性无关，那么它们张成的空间中的任意向量都是属于这一特征值的特征向量（同一特征值对应的特征向量的线性组合仍是该特征值对应的特征向量），且在变换中只发生缩放变换。
对于三维空间中的旋转，如果能够找到对应的特征向量，那么这个特性向量就是旋转轴，这意味着一个三维旋转变换就可以看成绕这个特征向量旋转一定角度。此时对应的特征值为$1$，因为旋转并不缩放任何一个向量，所以向量的长度保持不变。

6.2 特征值与特征向量的计算

设$\mathbf{A}$是$n$阶方阵，如果存在数$\lambda$和非零$n$维列向量$\mathbf{x}$，使得：
$$\mathbf{Ax}=\lambda \mathbf{x}$$则称$\lambda$是$\mathbf{A}$的一个特征值（characteristic value)或本征值（eigenvalue)，$\mathbf{x}$是矩阵$\mathbf{A}$的特征值$\lambda$对的特征向量。
向量$\mathbf{x}$经过$\mathbf{A}$变换后等于向量$\mathbf{x}$的数乘，而数乘不会改变向量的方向，显然这满足对特征向量的几何意义。

向量数乘等价于使用一个对角元全是$\lambda$的对角阵进行变换，所以：
$$\mathbf{Ax}=\lambda \mathbf{x}=\left(\lambda \mathbf{E}\right)\mathbf{x}$$其中$\mathbf{E}$是单位矩阵。移项后，得：
$$\left(\mathbf{A}-\lambda \mathbf{E}\right)\mathbf{x}=0$$由于$\mathbf{x}$是非零向量（零向量时恒等于0，没有任何意义），因此矩阵变换$\mathbf{A}-\lambda \mathbf{E}$将空间压缩到更低维度，所以：
$$\det \left(\mathbf{A}-\lambda \mathbf{E}\right)=0$$上述方程称为特征方程，解特征方程即可求出$\lambda$值。
而将特征值代入方程$\left(\mathbf{A}-\lambda \mathbf{E}\right)\mathbf{x}=0$，即可求解出$\lambda$对应得特征向量。

二维线性变换不一定有特征向量。例如：逆时针旋转$90°$的变换矩阵$\left[\begin{array}{cc}0& -1\\ 1& 0\end{array}\right]$就没有特征向量，因为变换后所有向量都发生旋转并且离开了其张成的空间，而求解特征方程发现$\lambda$没有实数解。

与$i$相乘在复平面中表示为$90°$旋转和$i$是这个二维实向量旋转变换的特征值有所关联，特征值出现复数的情况一般对应于变换中的某种旋转。
属于单个特征值的特征向量有可能不在同一条直线上。例如矩阵$\left[\begin{array}{cc}2& 0\\ 0& 2\end{array}\right]$是将所有向量拉伸两倍，唯一的特征值是$2$，但平面内所有非零向量都是属于这个特征值的特征向量。

6.3 特征基与对角化

特征基是指矩阵的所有基向量都是特征向量，矩阵在以特征向量为基向量的坐标系中的变换就是基向量的缩放变换。对角矩阵的所有基向量都是特征向量，对角元就是它们所属的特征值。
如果一个变换矩阵有足够多的特征向量，多到能够选出一个张成全空间的集合，那么当基向量是特征向量时，就能够通过基变换，将这个变换矩阵从以特征向量为基向量的坐标系中转化到标准坐标系。
对于矩阵$\left[\begin{array}{cc}3& 1\\ 0& 2\end{array}\right]$，它的特征值是$2$、$3$，特征向量分别是$\left[\begin{array}{c}-1\\ 1\end{array}\right]$、$\left[\begin{array}{c}1\\ 0\end{array}\right]$。在以向量$\left[\begin{array}{c}-1\\ 1\end{array}\right]$和$\left[\begin{array}{c}1\\ 0\end{array}\right]$为基向量的坐标系中，变换矩阵$\left[\begin{array}{cc}3& 1\\ 0& 2\end{array}\right]$实质上是对基向量缩放的变换:
$$\left[\begin{array}{cc}3& 1\\ 0& 2\end{array}\right]\left[\begin{array}{c}-1\\ 1\end{array}\right]=\left[\begin{array}{c}-2\\ 2\end{array}\right]$$将特征向量作为新基向量，构成基变换矩阵$\left[\begin{array}{cc}1& -1\\ 0& 1\end{array}\right]$，然后用这个基变换矩阵右乘矩阵$\left[\begin{array}{cc}3& 1\\ 0& 2\end{array}\right]$，用基变换矩阵的逆左乘矩阵$\left[\begin{array}{cc}3& 1\\ 0& 2\end{array}\right]$，可得到：
$${\left[\begin{array}{cc}1& -1\\ 0& 1\end{array}\right]}^{-1}\left[\begin{array}{cc}3& 1\\ 0& 2\end{array}\right]\left[\begin{array}{cc}1& -1\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}3& 0\\ 0& 2\end{array}\right]$$

这样计算得到的新矩阵$\left[\begin{array}{cc}3& 0\\ 0& 2\end{array}\right]$和矩阵$\left[\begin{array}{cc}3& 1\\ 0& 2\end{array}\right]$其实代表的是同一个变换，只不过是从新基向量所构成的坐标系的角度来看的。这个新矩阵一定是对角的，并且对角元是对应的特征值，因为它所处的坐标系的基向量在变换中只进行了缩放。

矩阵相似的实质：矩阵$\mathbf{M}$和${\mathbf{A}}^{-1}\mathbf{MA}$是相似的关系，矩阵相似实质上表明两个矩阵是同一种变换，只不过是在两个不同的坐标系中（不同的基向量），并且矩阵$\mathbf{A}$的列向量就是在$\mathbf{M}$的坐标系中表示的${\mathbf{A}}^{-1}\mathbf{MA}$的坐标系的基向量。

对角化的条件：矩阵对角化，就是将特征向量作为基向量，通过基变换，将这个变换矩阵转化到标准坐标系中。
从计算上讲，对于$n$阶矩阵$\mathbf{M}$能否对角化，关键在于矩阵$\mathbf{A}$是否存在逆矩阵，也就是矩阵$\mathbf{M}$是否有$n$个线性无关的特征向量；
从基变换角度看，能否对角化，关键在于能否将特征向量作为基向量，对于$n$阶矩阵的变换必然发生在$n$维空间，因此有$n$个基向量，若矩阵没有$n$个能作为基向量的特征向量（即$n$个线性无关的特征向量，因为基向量线性无关），就不能对角化。

7 解空间

7.1 解判定的实质

线性方程组$\mathbf{Ax}=\mathbf{v}$和$\mathbf{Ax}=0$求解的实质，就是寻找一个向量$\mathbf{x}$，使它经过$\mathbf{A}$变换后，与向量$\mathbf{v}$重合或者落在零向量上。
对于非齐次线性方程组$\mathbf{Ax}=\mathbf{v}$

1. 当矩阵$\mathbf{A}$为$n$阶满秩方阵时，$\mathbf{A}$变换没有发生维度变化，向量$\mathbf{v}$一定位于$\mathbf{A}$的列空间中，因此只存在唯一的向量$\mathbf{x}$经过$\mathbf{A}$变换后与向量$\mathbf{v}$重合，所以只有唯一解。此时，$\mathrm{r}\left(\mathbf{A}\right)=\mathrm{r}\left(\mathbf{A},\mathbf{v}\right)=n$
2. 当矩阵$\mathbf{A}$为$n$阶非满秩方阵时，$\mathbf{A}$变换将空间压缩为一个小于$n$维的空间（$\mathbf{A}$的列空间），只有当向量$\mathbf{v}$位于这个小于$n$维的空间时，向量$\mathbf{x}$经过$\mathbf{A}$变换后才会与其重合，空间压缩必然会导致多个不同的向量$\mathbf{x}$被压缩到同一个向量上，所以会有无数解。此时，$\mathrm{r}\left(\mathbf{A}\right)=\mathrm{r}\left(\mathbf{A},\mathbf{v}\right)<n$
3. 当$m\times n$矩阵$\mathbf{A}$行数大于列数（$m>n$）时，$\mathbf{A}$变换将向量$\mathbf{x}$升高到$m$维，$\mathbf{A}$的列空间维度没有改变，即$m$维空间中的$n$维子空间，只有当向量$\mathbf{v}$位于这个$n$维子空间时，向量$\mathbf{x}$经过$\mathbf{A}$变换后才会与其重合，由于$\mathbf{A}$变换没有发生压缩，所以只存在唯一的向量$\mathbf{x}$。此时，$\mathrm{r}\left(\mathbf{A}\right)=\mathrm{r}\left(\mathbf{A},\mathbf{v}\right)=n$
4. 当$m\times n$矩阵$\mathbf{A}$行数小于列数（$m<n$）时，$\mathbf{A}$变换将向量$\mathbf{x}$降低到$m$维，$\mathbf{A}$的列空间压缩到$m$维，所以$m$维向量$\mathbf{v}$一定位于$\mathbf{A}$的列空间中，向量$\mathbf{x}$经过$\mathbf{A}$变换后一定会与向量$\mathbf{v}$重合，由于$\mathbf{A}$变换发生压缩，所以存在无数的向量$\mathbf{x}$。此时，$\mathrm{r}\left(\mathbf{A}\right)=\mathrm{r}\left(\mathbf{A},\mathbf{v}\right)=m<n$

对于齐次线性方程组$\mathbf{Ax}=0$：

1. 当矩阵$\mathbf{A}$为$n$阶满秩方阵时，$\mathbf{A}$变换没有发生维度变化，因此没有非零向量经过$\mathbf{A}$变换后落到零向量，所以只有零解。此时，$\mathrm{r}\left(\mathbf{A}\right)=0$
2. 当矩阵$\mathbf{A}$为$n$阶非满秩方阵时，$\mathbf{A}$变换将空间压缩为一个小于$n$维的空间，此过程必然存在非零向量$\mathbf{v}$被压缩为零向量，所以有非零解。此时，$\mathrm{r}\left(\mathbf{A}\right)<0$
3. 当$m\times n$矩阵$\mathbf{A}$行数大于列数（$m>n$）时，$\mathbf{A}$的列空间维度没有改变，因此没有非零向量经过$\mathbf{A}$变换后落到零向量，所以只有零解。此时，$\mathrm{r}\left(\mathbf{A}\right)=0$
4. 当$m\times n$矩阵$\mathbf{A}$行数小于列数（$m<n$）时，$\mathbf{A}$的列空间压缩到$m$维，此时必然存在非零向量$\mathbf{x}$被压缩为零向量，所以有非零解。此时，$\mathrm{r}\left(\mathbf{A}\right)<0$

以上就是线性方程组解判定的实质，以下还有几点需要注意：

1. 线性变换向量的维度可以升高降低，但向量张成的空间不会升高。
2. 向量张成的空间的维度一定不超过向量的维度。
3. 若向量的维度与空间的维度相同，则这个向量一定位于这个空间中。
4. 对于非齐次线性方程组，如果系数矩阵是压缩变换，则有无数解（向量$\mathbf{v}$位于$\mathbf{A}$的列空间时）；对于齐次线性方程组，如果系数矩阵是压缩变换，则有非零解。

7.2 基础解系与通解

当齐次线性方程组的系数矩阵是压缩变换时，必然存在无数个非零向量被压缩成零向量，因此存在无数非零解。这些向量张成的空间称为解空间，解空间的基称为基础解系。
若$\mathbf{Ax}=0$且$\mathbf{A}$为$n$阶矩阵、向量$\mathbf{x}$为三维向量。矩阵的秩表示经过矩阵变换后的空间的维度。若$\mathbf{A}$对一个三维空间进行变换，当$\mathrm{r}\left(\mathbf{A}\right)=3$时，$\mathbf{A}$变换没有改变维度，没有向量被压缩为零向量；当$\mathrm{r}\left(\mathbf{A}\right)=2$时，经过$\mathbf{A}$变换后有两个维度的向量没有被压缩，所以就有一个维度的向量落到了零向量，此时方程$\mathbf{Ax}=0$的基础解系有一个基向量，所以解空间是一条直线；当$\mathrm{r}\left(\mathbf{A}\right)=1$时，此时落到零向量的向量张成的空间就是一个二维平面，也就是解空间，此时方程$\mathbf{Ax}=0$的基础解系有两个基向量。
由此可以看出，被压缩向量张成空间的维度与没有被压缩向量张成空间的维度的和就是原始向量所在空间的维度，因此可以得出解空间的维数就是$n-\mathrm{r}\left(\mathbf{A}\right)$，也就是基础解系的个数。我们把所有基础解系的线性组合称为齐次线性方程组的通解。
若$\mathbf{A}$为$m\times n$（$m<n$）非方阵时（只有压缩变换才有解向量张成空间，所以只讨论$m<n$），原始向量所在空间的维度为$n$（即变换前向量$\mathbf{x}$是$n$维），若$\mathbf{A}$的秩为$\mathrm{r}\left(\mathbf{A}\right)$，则解空间的维度也为$n-\mathrm{r}\left(\mathbf{A}\right)$。

非齐次线性方程组$\mathbf{Ax}=\mathbf{v}$解的结构：
若矩阵$\mathbf{A}$没有发生压缩变换，则方程只有唯一解，因此没有基础解系。当矩阵$\mathbf{A}$发生压缩变换时，必然存在多个不同向量被压缩后位于同一向量上。
若$\mathrm{r}\left(\mathbf{A}\right)=2$，则经过$\mathbf{A}$变换后有两个维度的向量没有被压缩。假设矩阵$\mathbf{A}$变换是将三维空间的向量压缩至$xOy$平面，如下图，图中三个黑色向量变换后均与红色向量（红色向量就是向量$\mathbf{v}$）重合。我们将这三个黑色向量分别沿$xOy$平面和$z$轴方向分解，可以发现在$xOy$平面方向的分量与红色向量相同。对这三个向量变换，也就是对两个分量变换，而变换后$z$轴方向的蓝色分量落到零向量，而$xOy$平面上的分量没有变且与红色向量相同，因此，方程的解就是落到零向量的蓝色分量与红色向量的和，此时基础解系只有一个。因此通解为$\mathbf{\eta }+k\mathbf{\xi }$，$\mathbf{\xi }$为基础解系，$\mathbf{\eta }$为非齐次线性方程组的特解。

若$\mathrm{r}\left(\mathbf{A}\right)=1$，则经过$\mathbf{A}$变换后有一个维度的向量没有被压缩。假设矩阵$\mathbf{A}$变换是将三维空间的向量压缩至$z$轴，如下图，将两个黑色向量分别沿$x$、$y$、$z$轴方向分解，可以发现，在$z$轴上的分量在变换后没有改变且与红色向量相同，而在$x$、$y$轴上的蓝色分量都不相同，且在变换后都落到了零向量，因此，方程的解就是落到零向量的两个蓝色分量与红色向量的和，此时基础解系有两个。因此通解为$\mathbf{\eta }+k_1{\mathbf{\xi }}_1+k_2{\mathbf{\xi }}_2$，${\mathbf{\xi }}_1$、${\mathbf{\xi }}_2$为基础解系，$\mathbf{\eta }$为非齐次线性方程组的特解。
从上面的讨论可以看出，非齐次线性方程组的通解等于非齐次线性方程组的特解加上齐次线性方程组的通解。在上图中，平面$\mathbf{\alpha }$代表的就是对应齐次线性方程组的通解，而平面$\mathbf{\beta }$代表的就是非齐次线性方程组的通解，这里注意，平面$\mathbf{\beta }$并不过原点，因此它的解不能构成向量空间。

7.3 解空间与行空间

对于方程$\mathbf{Ax}=0$，解空间的维度为$n-r$，$r$为$\mathbf{A}$的秩。
与列空间相同，矩阵的行空间就是所有行向量${\mathbf{\alpha }}_i^T$的线性组合得到的向量集合。对矩阵$\mathbf{A}$行分块，就有${\mathbf{\alpha }}_i^T\mathbf{x}=0$，因此向量${\mathbf{\alpha }}_i^T$与向量$\mathbf{x}$正交，向量${\mathbf{\alpha }}_i^T$与向量$\mathbf{x}$所在的空间分别是$\mathbf{A}$的行空间和方程的解空间。所以，行空间与解空间是正交的。
在三维空间中，若行空间的维度为$2$（向量在一个二维平面上），则与它正交的向量只能在垂直于这个平面的直线上，所以解空间维度为$1$；而当行空间的维度为$3$时，在三维空间中就没有与其正交的向量，所以解空间维度为$0$。在$n$维空间中，行空间与解空间维度的和等于$n$，即$\mathrm{r}\left(\text{行}\right)+\mathrm{r}\left(\text{解}\right)=n$，所以有：
$$\mathrm{r}\left(\text{行}\right)=n-\mathrm{r}\left(\text{解}\right)=n-\left(n-r\right)=r$$因此行空间与列空间维度相等，即行秩等于列秩。

7.4 克莱姆法则的几何解释

当线性方程组有唯一解且系数矩阵为方阵时，可以用克莱姆法则通过计算行列式来求解方程组。
设线性方程组：
$$\{\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ \cdots \cdots \cdots \cdots \\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n=b_n\end{array}$$
系数行列式为：
$$D=\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|\ne 0$$
则线性方程组有且仅有唯一解：
$$\mathbf{x}=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]=\left[\begin{array}{cccc}\frac{D_1}{D}& \frac{D_2}{D}& \cdots & \frac{D_n}{D}\end{array}\right]$$
其中 $D_j\left(j=1,2,\cdots ,n\right)$是把系数行列式$D$中的第$j$列元素用常数项$\mathbf{b}$代替后得到的$n$阶行列式，即：
$$D_j=\left|\begin{array}{ccccccc}{a}_{11}& \cdots & a_{1,j-1}& b_1& a_{1,j+1}& \cdots & a_{1n}\\ & & & & & & \\ a_{21}& \cdots & a_{2,j-1}& b_2& a_{2,j+1}& \cdots & a_{2n}\\ & & & & & & \\ ⋮& \ddots & ⋮& ⋮& ⋮& \ddots & ⋮\\ & & & & & & \\ a_{n1}& \cdots & a_{n,j-1}& b_n& a_{n,j+1}& \cdots & a_{nn}\end{array}\right|$$
接下来从线性变换角度来解释这个法则。
对于任意向量${\left[\begin{array}{cc}x& y\end{array}\right]}^T$，可以将它与$x$轴上的基向量$\mathbf{i}$构成的平行四边形的有向面积表示为$y$值，因为$y$值有正负情况。同样，将它与$y$轴上的基向量$\mathbf{j}$构成的平行四边形的有向面积表示为$x$值。
同样地，对于三维空间可以将一个三维向量与$x$、$y$轴上的基向量\boldsymbol{i}$、\mathbf{j}$构成的平行六面体的有向体积表示为$z$值。

在变换前后，平行四边形的面积不一定保持不变，但面积的伸缩比例却是不变的，且等于变换矩阵的行列式。
若有线性方程组：
$$\left[\begin{array}{cc}2& -1\\ 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}4\\ 2\end{array}\right]$$
经过矩阵$\left[\begin{array}{cc}2& -1\\ 0& 1\end{array}\right]$变换后，向量$\left[\begin{array}{c}x\\ y\end{array}\right]$变换为$\left[\begin{array}{c}4\\ 2\end{array}\right]$，基向量$\mathbf{i}$变换后为$\left[\begin{array}{c}2\\ 0\end{array}\right]$。

经过矩阵$\left[\begin{array}{cc}2& -1\\ 0& 1\end{array}\right]$变换后平行四边形的面积就等于变换前的面积$y$值乘以行列式，而变换后平行四边形的面积就是向量$\left[\begin{array}{c}4\\ 2\end{array}\right]$与基向量$\mathbf{i}$变换后的向量$\left[\begin{array}{c}2\\ 0\end{array}\right]$构成的平行四边形的面积，即：
$$\det \left(\left[\begin{array}{cc}2& 4\\ 0& 2\end{array}\right]\right)$$所以，$y$值就是变换后平行四边形面积与行列式的比值，即：
$$y=\frac{\det \left(\left[\begin{array}{cc}2& 4\\ 0& 2\end{array}\right]\right)}{\det \left(\left[\begin{array}{cc}2& -1\\ 0& 1\end{array}\right]\right)}$$同理，也能求出$x$值。

参考文献

1. UP主汉语配音-【线性代数的本质】合集-转载于3Blue1Brown官方双语】
2. 【熟肉】线性代数的本质 - 01 - 向量究竟是什么？
3. 线性代数的本质（完整版）