一、基础知识:子空间
子空间定义:设 W 为数域 P 上线性空间 V 的一个非空子集,如果 W 对于 V 中的两种运算(加法、数乘)也构成了数域 P 上的线性空间,称 W 为 V 的线性子空间。充要条件为:
对于矩阵A,它有四个基础子空间,分别为:列空间(Column Space)、行空间(Row Space)、零空间(Null Space)、左零空间(Left Null Space)。
1.1 列空间(Column Space)
对矩阵 A 进行一个拆分,表示为 这样 n 个列向量,每个列向量维度为 m 。
A 的列空间就是:这 n 个 m 维列向量的线性张成空间(Span),记为 或 。由于每个列向量都是 m 维的,所以 是 的子空间。对于 中的任意向量 ,都可以表示为
1.2 行空间
同样对矩阵 A 进行一个拆分,表示为 这样 m 个行向量,每个行向量维度为 n 。
A 的行空间就是:这 m 个 n 维向量的线性张成空间(Span),记为 或 。由于每个列向量都是 n 维的,所以 是 的子空间。对于 中的任意向量 ,都可以表示为
同时有
1.3 零空间
所有满足 的向量 的集合就称之为矩阵 A 的零空间,记为 或 。 由于零向量是 n 维的,所以 是 的子空间。
矩阵 A 的各列线性无关时,就只有零向量这个唯一解。
矩阵 A 的各列线性相关时,那么就有非零解。
1.4 左零空间
即 的零空间,所有满足 的向量 的集合。 是 的子空间。
1.5 子空间度量
子空间的基: 中的某子空间 H 的一组基是 H 中的一个线性无关集,它可以生成 H。
维数(dim): 是针对空间来说的,非零子空间 H 的维数 dim(H) 是 H 的任意一组基的向量个数(线性无关)。
秩(rank):是针对矩阵来说的,矩阵 A 列空间的维数,也就是矩阵 A 主元列的个数。
1.6 四大子空间关系
① 矩阵 A 的列空间 的维数是 r 。
② 矩阵 A 的行空间 的维数是 r 。
③ 零空间 的维数是 n-r 。
④ 左零空间 的维数是 m-r 。
1.7 子空间的和、交
定义:设 , 是线性空间 V 的子空间,所谓 与 的和,是指所有能表示成 , 而 , 的向量组成的子集合,记作 ,即
子空间的和也是子空间,即 也是 V 的子空间。
子空间的交也是子空间,即 也是 V 的子空间。
他们都满足交换律和结合律。
不讨论子空间的并,是因为两个子空间的并未必是 V 的子空间(不满足加法封闭性)。但是集合间存在一定关系,子空间的交中的向量一定在子空间的并上,子空间的并中的向量一定在子空间的和上,即有如下关系:
1.8 维数公式
如果 n 维线性空间 V 中两个子空间的维数之和大于 n,那么 , 必含有非零的公共向量。
1.9 子空间的直和
定义:设 , 是线性空间 V 的子空间,如果和 中每个向量 的分解式 是唯一的,这个和就称为直和,记为 。
直和的四个等价条件:
① 是直和
② 0的表示法唯一,即若 ,则必有
③
④
两维也可以扩展至 n 维。此处不再赘述。需要注意的一个点是,在多个子空间中,条件三变为 ,而不是两两的交只有0。