线性代数基本定理（核空间与行空间）——The Fundamental Theorem of Linear Algebra

本文依据Nicholas Hoell的讲义The Fundamental Theorem of Linear Algebra翻译，水平有限，如有不当欢迎指正。

一、预备知识：正交补空间

1.1 正交补空间的定义

对于一个$n$维子空间$S\subseteq {\mathbb{R}}^n$， 顾名思义，它的正交补空间（orthogonal complement）里的每一个向量都和$S$中的列向量正交。
记$S$的正交补空间为$S^{\perp }\subseteq {\mathbb{R}}^n$，它由列向量$v\in {\mathbb{R}}^n$构成，要求$v$与$S$中的所有向量都正交。则$S^{\perp }$可以用数学语言描述为：
S ⊥ = { v ∈ R n ∣ u ⋅ v = 0 , u ∈ S } S^\perp=\lbrace v\in\mathbb{R}^n|u\cdot v=0,u\in S\rbrace S⊥={v∈Rn∣u⋅v=0,u∈S}
正交补空间也可以简称为“正交补”。

1.2 表示定理

设$v\in {\mathbb{R}}^n$表示任意一个$n$维向量，$S\subseteq {\mathbb{R}}^n$，那么存在$s\in S$，$s_{\perp }\in S^{\perp }$，使得
$$v=s+s_{\perp }$$
即，任意一个$n$维向量可以表示为两个$n$维向量的和：其中一个属于$n$维空间的一个子空间，另一个属于这个子空间的正交补空间。

证明：
${\mathbb{R}}^n$的每个子空间$S$都有自己的基，所以也有标准正交基（这个标准正交基可以由任意一组基得到，例如使用施密特正交化和标准化等方法），因此，$S$空间中的一个向量$s$可以表示为：
$$s=(v\cdot s_1)s_1+(v\cdot s_2)s_2+...+(v\cdot s_{dim(S)})s_{dim(S)}$$
其中，$s_1,s_2,...,s_{dim(S)}$是$S$的一个标准正交基，易知它们满足：$||s_j||=1且s_j\cdot s_i=0,i\ne j$。因此可以构造：
$$\begin{gathered} (v-s)\cdot s=v\cdot s-s\cdot s \\ =v\cdot [(v\cdot s_1)s_1+(v\cdot s_2)s_2+...+(v\cdot s_{dim(S)})s_{dim(S)}] \\ -[(v\cdot s_1{)}^2{s}_1\cdot s_1+(v\cdot s_2{)}^2{s}_2\cdot s_2+...+(v\cdot s_{dim(S)}{)}^2{s}_{dim(S)}\cdot s_{dim(S)}] \\ =(v\cdot s_1{)}^2+(v\cdot s_2{)}^2+...+(v\cdot s_{dim(S)}{)}^2 \\ -[(v\cdot s_1{)}^2+(v\cdot s_2{)}^2+...+(v\cdot s_{dim(S)}{)}^2] \\ =0 \end{gathered}$$
所以$(v-s)\perp s$。利用这个关系，定义$s_{\perp }=v-s$，这样就有$v=s+s_{\perp }$，且$s_{\perp }\in S^{\perp }$

二、一个命题

设$A$为$m\times n$矩阵，则：
$$(col(A^T){)}^{\perp }=ker(A)$$
其中$col(\cdot )$表示一个矩阵的列空间，$ker(\cdot )$表示一个矩阵的核空间。
这个命题是线性代数基本定理的依据。

证明：
设$v\in ker(A)$，则
$$Av=\left(\begin{array}{c}0\\ 0\\ ⋮\\ 0\end{array}\right)=\left(\begin{array}{c}ro{w}_1(A)\cdot v\\ ro{w}_2(A)\cdot v\\ ⋮\\ ro{w}_m(A)\cdot v\end{array}\right)$$
其中$ro{w}_i(A)$表示$A$的第$i$个行向量。所以$v\perp ro{w}_i(A),i=1,2,...,m$，所以$v\in (row(A){)}^{\perp }=(col(A^T){)}^{\perp }$，$row(A)$表示$A$的行向量生成的空间。由于这个结论对所有的$v$都成立，因此$ker(A)\subseteq (col(A^T){)}^{\perp }$。同理，如果$v\in (col(A^T){)}^{\perp }$，则必有
$$v\cdot ro{w}_i(A)=0,i=1,2,...,m$$
因此$v\in ker(A)$。由于这个结论对所有$v$都成立，所以$(col(A^T){)}^{\perp }\subseteq ker(A)$
所以$ker(A)=(col(A^T){)}^{\perp }$

根据上面的内容，我们也可以顺便得到另一个重要性质：
$$S=(S^{\perp }{)}^{\perp }$$

证明：
如果$v\in (S^{\perp }{)}^{\perp }$，则$v\cdot s_{\perp }=0$对所有$s_{\perp }\in S^{\perp }$都成立。设$S$和$S^{\perp }$的标准正交基分别为 { s 1 , . . . , s d i m ( S ) } \{s_1,...,s_{dim(S)}\} {s1​,...,sdim(S)​}和 { s 1 ⊥ , s 2 ⊥ , . . . , s d i m ( S ) ⊥ } \{s_1^\perp,s_2^\perp,...,s_{dim(S)}^\perp\} {s1⊥​,s2⊥​,...,sdim(S)⊥​}，则有：
$$\begin{gathered} v=(v\cdot s_1)s_1+(v\cdot s_2)s_2+...+(v\cdot s_{dim(S)})s_{dim(S)} \\ +(v\cdot s_1^{\perp })s_1^{\perp }+(v\cdot s_2^{\perp })s_2^{\perp }+...+(v\cdot s_{dim(S)}^{\perp })s_{dim(S)}^{\perp } \\ =(v\cdot s_1)s_1+(v\cdot s_2)s_2+...+(v\cdot s_{dim(S)})s_{dim(S)} \end{gathered}$$
既然$v$可以用$S$的基表示，那么$v\in S$。由于这个结论对所有$v$都成立，所以$(S^{\perp }{)}^{\perp }\subseteq S$。另一方面，对于$s\in S$，由于$s\cdot s_{\perp }=0$，所以$s\in (S^{\perp }{)}^{\perp }$。由于这个结论对所有$s_{\perp }$都成立，所以$s\subseteq (S^{\perp }{)}^{\perp }$。
所以$S=(S^{\perp }{)}^{\perp }$。

三、线性代数基本定理

在此基础上，介绍线性代数基本定理：
设$A$为$m\times n$矩阵，则
$$col(A^T)=(ker(A){)}^{\perp }$$
因此，
$${\mathbb{R}}^n=ker(A)\oplus col(A^T)=ker(A)\oplus row(A)$$
其中$\oplus$这个符号称为“direct sum”（直和）。可见，$n$维空间被分为了两部分：$A$的核空间与行空间。
这个定理有什么意义呢？
对于方程
$$Ax=b$$
如果$b\in col(A)$，这个方程是有解的。根据这个定理，我们可以将解表示为
$$x=p+v_h$$
其中$p\in row(A)$为$Ap=b$的特解，而$v_h\in ker(A)$为核空间（$Ax=0$）内的通解。矩阵的零化度描述了$Ax=b$缺乏唯一可解性。

四、该定理的应用

这个定理可以用于证明最小二乘解的存在性，见：
如何证明ATAX=ATB一定有解？