线性代数拾遗（5） —— 矩阵的四个基本子空间

• 参考：麻省理工线性代数
• 本文介绍矩阵的四个基本子空间 —— 列空间、行空间、零空间、左零空间

---

1. 线性空间（向量空间）、子空间

• 这部分内容国内线性代数课似乎不会深入讲，简单补充一下

  1. 给定一些元素构成集合，在集合上定义一些运算，再定义运算规则，我们就得到了一个代数系统
  2. 数域是一个代数系统，它的集合中都是各种数（实数、复数、无理数…），要求必须包含0和1，定义数的四则运算，且要求关于这些运算封闭
  3. 在数域的基础上，再给定一些元素（向量、矩阵、函数…什么都行），定义 加法 和 数乘 两个运算，当两个运算满足封闭性和八条性质时，称为一个线性空间
  4. 线性空间中允许元素间线性表示，这样就有了基和坐标向量的概念，而坐标向量是一个数组成的向量，因此线性空间中任意元素都可以一一对应到某个数的向量，所以线性空间也称为向量空间
  5. 线性空间/向量空间的基础上，增加一个元素的內积运算，定义相应的运算规则，得到內积空间
  6. 线性空间的元素的非空子集，满足加法和数乘运算的封闭性及八条性质，称为线性子空间（事实上只要满足封闭性，其他性质自动满足）

  这部分内容详见

  1. 双语矩阵论课程笔记（2）—— 【chapter 1】 Vector Spaces (Linear Spaces)
  2. 双语矩阵论课程笔记（3）—— 【chapter 2】 Inner Product Spaces

2. 矩阵的四个基本子空间

• 给定秩为 $r$ 的矩阵 $A_{m\times n}$，本章介绍以下四个重要子空间

  子空间	说明	向量尺寸	维数	求基
  列空间 $C(A)$	$A_{m\times n}$ 所有列的线性组合构成	${\mathbb{R}}^m$	$r$	列化阶梯型
  行空间 $C(A^{\top })$	$A_{m\times n}$ 所有行的线性组合构成	${\mathbb{R}}^n$	$r$	行化阶梯型
  零空间 $N(A)$	$Ax=0$ 的解空间	${\mathbb{R}}^n$	$n-r$	求基础解析
  左零空间 $N(A^{\top })$	$y^{\top }A=0^{\top }$ 的解空间	${\mathbb{R}}^m$	$m-r$	类似化阶梯型求逆

2.1 列空间

• 给定秩为 $r$ 的矩阵 $A_{m\times n}$，列空间是由 $A=[a_1,a_2,...,a_n]$ 所有列向量的线性组合构成的空间，记为 $$C(A)=\text{span}(a_1,a_2,...,a_n)$$
• 基本性质
  1. 尺寸：空间中所有元素尺寸同 $A$ 列向量尺寸 $m\times 1$，即 $C(A)\in {\mathbb{R}}^m$
  2. 维数：矩阵的秩定义为非零的子式（任取 $k$ 行 $k$ 列构成的行列式）的最大阶数，也就是最大的线性无关行列向量个数，因此矩阵列空间的维数和矩阵的秩相等，即 $\dim C(A)=r$
  3. 基：列空间的基，只要在所有列向量中找 $r$ 个线性无关的就行了，注意到做列初等变换其实就是在对列做各种线性组合操作，变换后的矩阵列空间不变（当然，这时行空间就改变了），故可以通过列初等变换化竖直阶梯型的方式找出一组基

2.2 零空间

• 给定秩为 $r$ 的矩阵 $A_{m\times n}$，零空间是由 $Ax=0$ 的所有解向量 $x_i$ 的线性组合构成的空间，也就是这个 $n$ 元齐次线性方程组的解空间，记为 $N(A)$
• 基本性质
  1. 尺寸：空间中所有元素尺寸同 $Ax=0$ 的解 $x_{n\times 1}$ 的尺寸 $n\times 1$，即 $C(A)\in {\mathbb{R}}^n$
  2. 维数：根据性质：n 元齐次线性方程组解空间的维数，加上此方程组系数矩阵的秩 r，等于未知量个数 n，有 $\dim N(A)=n-r$
  3. 基：就是求齐次线性方程组基础解系，做初等行变换化阶梯型来找通解

     这里可以用张宇老师的方法，化阶梯形后，得到 $A$ 的秩 $r$，然后得到零空间的维数 $n-r$，待定系数先写出基向量组形式，再把阶梯矩阵中每个阶梯划去一列，剩下的列的位置对应到基向量组上，在这个位置用单位阵填充，以保证各个基向量线性无关，最后带入有限方程解出其余系数

• 从几何角度，零空间可以理解为被矩阵 $A$ 变化后压缩到原点的空间

2.3 行空间

• 给定秩为 $r$ 的矩阵 $A_{m\times n}$，行空间是由 $A=[a_1^{\top },a_2^{\top },...,a_m^{\top }{]}^{\top }$ 所有行向量的线性组合构成的空间，注意到这其实就是 $A^{\top }$ 的列空间，所以直接记为
  $$C(A^{\top })=\text{span}(a_1^{\top },a_2^{\top },...,a_m^{\top })$$
• 基本性质
  1. 尺寸：空间中所有元素尺寸同 $A$ 行向量尺寸 $n\times 1$，即 $C(A)\in {\mathbb{R}}^n$
  2. 维数：同2.1节分析，矩阵行空间维数和矩阵的秩相等，即 $\dim C(A^{\top })=r$
  3. 基：同2.1节分析，通过行初等变换化阶梯型的方式找出一组基

2.4 左零空间

• 给定秩为 $r$ 的矩阵 $A_{m\times n}$，左零空间是由 $y^{\top }A=0^{\top }$ 的所有解向量 $y_i^{\top }$的线性组合构成的空间。注意到这是个行向量空间，而我们通常统一用列向量来表示向量，因此对齐次线性方程两边取转置，得到 $A^{\top }y=0$，可见 $A$ 的左零空间其实就是 $A^{\top }$ 的（列向量）的零空间，所以直接记为 $N(A^{\top })$
• 基本性质
  1. 尺寸：空间中所有元素尺寸同 $y^{\top }$ 列向量尺寸 $m\times 1$，即 $C(A)\in {\mathbb{R}}^m$
  2. 维数：矩阵的秩定义为非零的子式（任取 $k$ 行 $k$ 列构成的行列式）的最大阶数，也就是最大的线性无关行列向量个数，因此矩阵列空间的维数和矩阵的秩相等，即 $\dim C(A)=r$
  3. 基：这里求基时，我们使用类似化阶梯型求逆矩阵的方式，通过初等行变换进行以下操作
     $$\left[\begin{array}{cc}{A}_{m\times n}& I_{m\times m}\end{array}\right]\to \left[\begin{array}{cc}{R}_{m\times n}& K_{m\times m}\end{array}\right]$$ 其中 $I$ 是 $m$ 阶单位阵。事实上，上面这个变换就是通过左乘 $K_{m\times m}$ 来进行的，即
     $$K_{m\times m}\left[\begin{array}{cc}{A}_{m\times n}& I_{m\times m}\end{array}\right]=\left[\begin{array}{cc}{R}_{m\times n}& K_{m\times m}\end{array}\right]$$ 可见有
     $$K_{m\times m}{A}_{m\times n}=R_{m\times n}$$ 显然，令 $R_{m\times n}=I_{m\times n}$，就有 $A^{-1}=K_{m\times m}$，这是我们都学过的求逆方法。现在假设我们使 $R_{m\times n}$ 变化为正规矩阵，即
     $$R_{m\times n}=\left[\begin{array}{ccc}& I_{r\times r}& F_{r\times n-r}\\ & 0_{m-r\times r}& 0_{m-r\times n-r}\end{array}\right]$$ 左上角是 $r$ 阶单位阵，右上角是任意矩阵，下面是全零行。这时再考虑
     $$K_{m\times m}{A}_{m\times n}=R_{m\times n}$$ 记住我们要找左零空间，也就是要找 $K_{m\times m}$ 中的那些右乘 $A_{m\times n}$ 后变为零向量的行向量，注意到这些变换结果恰好记录在 $R_{m\times n}$ 对应的行向量中，因此，我们只要先求出 $K_{m\times m}$，再取其最下面 $m-r$ 个行向量即得到 $A$ 左零空间的一组基。至于 $K_{m\times m}$ 的求法，只要记住将 $A_{m\times n}$ 通过初等行变换化为 $R_{m\times n}$ 的过程，再对 $I_{m\times m}$ 做相同操作即可

3. 子空间的正交关系

• 正交关系
  1. 两向量正交即两內积为0
  2. 一个向量空间和另一个向量空间正交，意味着一个空间中任意向量和另一空间中任意向量正交，即两组基正交
• 给定秩为 $r$ 的矩阵 $A_{m\times n}$，本章说明如下正交关系
  1. $r$ 维行空间 $C(A^{\top })$ 和 $n-r$ 维零空间 $N(A)$ 正交，二者是 $n$ 维空间的正交直和
  2. $r$ 维列空间 $C(A)$ 和 $m-r$ 维左零空间 $N(A^{\top })$ 正交，二者是 $m$ 维空间的正交直和

3.1 证明

• 先证明行空间 $C(A^{\top })$ 和零空间 $N(A)$ 正交：从零空间 $N(A)$ 定义入手，它是 $Ax=0$ 的解空间，即
  $$\left[\begin{array}{c}{a_1}^{\top }\\ {a_2}^{\top }\\ ⋮\\ {a_m}^{\top }\end{array}\right]x=\left[\begin{array}{c}0\\ 0\\ ⋮\\ 0\end{array}\right]$$ 可见 $A$ 中任意行向量 ${a_i}^{\top }$，和 $N(A)$ 中任意列向量 $x$ 做內积都为 $0$，显然两空间中任意向量的线性组合也正交，因此两空间正交
• 根据矩阵转置等价性质，$C(A^{\top })$ 和 $N(A)$ 正交 $\Rightarrow$ 列空间 $C(A)$ 和左零空间 $N(A^{\top })$ 正交
• 再根据维度关系，$C(A^{\top })$ 和 $N(A)$ 是 $n$ 维空间的正交直和；$C(A)$ 和 $N(A^{\top })$ 是 $m$ 维空间的正交直和

3.2 小结

• 最后用一张图总结本文