矩阵 秩 相关证明

本文尽量使用初等方法. (如果承认奇异值分解, 再做矩阵的投影分析, 就不需要如此的繁复了.)

引理1 线性代数基本定理

形式化表述

• 有限维向量空间 V 和 W
• 线性映射 F : V → W
• 像 im(F) = {F(v) | v∈V} ⊆ W
• 核 ker(F) = {v∈V | F(v)=0} ⊆ V
• dim[im(F)] + dim[ker(F)] = dim[V]

证明

1. 假设 dim[ker(F)]=s, 则 ker(F) 有一组基 {α1, …, αs}.
2. 将上述基扩展至 V 的基 {α1, …, αs, β1, …, βt}.
3. s + t = dim[V], 即, ∀v∈V, ∃(a1, …, as, b1, …, bt), v = a1α1 + … + asαs + b1β1 + … + btβt.
4. v = a1α1 + … + asαs + b1β1 + … + btβt 张成空间 V, 则 F(v) = b1F(β1) + … + btF(βt) 张成空间 im(F).
5. 由 {α1, …, αs, β1, …, βt} 线性无关, 知 {F(β1), …, F(βt)} 线性无关.
6. {F(β1), …, F(βt)} 是 im(F) 的一组基, 即 dim[ker(F)]=t.

注 (第 5 步的具体证明)

• 如果 (b1, …, bt) ≠ (c1, …, ct), 但是 b1F(β1) + … + btF(βt) = c1F(β1) + … + ctF(βt)
• 那么 F( (b1-c1)β1 + … + (bt-ct)βt ) = 0
• 进而 (b1-c1)β1 + … + (bt-ct)βt = d1α1 + … + dsαs
• 由 {α1, …, αs, β1, …, βt} 线性无关 知 (b1-c1) = … = (bt-ct) = d1 = … = ds = 0

对于矩阵 X ∈ ℝ ^m×n, X : ℝ ⁿ → ℝ ^m, X(v) = X·v, 认为 X ^T : ℝ ^m → ℝ ⁿ, X ^T(v) = X ^T·w = (w ^T·X) ^T.
像 im(X) = {X·v | v∈ℝ ⁿ} ⊆ ℝ ^m, 核 ker(X) = {v∈ℝ ⁿ | X·v=0} ⊆ ℝ ⁿ.
像 im(X ^T) = {X ^T·w | w∈ℝ ^m} ⊆ ℝ ⁿ, 核 ker(X ^T) = {w∈ℝ ^m | X ^T·w=0} ⊆ ℝ ^m.
列秩 col_rank[X] = dim[im(X)] = n - dim[ker(X)].
行秩 row_rank[X] = dim[im(X ^T)] = m - dim[ker(X ^T)].

引理2.1 初等变换不改变矩阵的行秩和列秩. (初等变换矩阵, 行初等变换⇔左侧乘初等变换矩阵, 列初等变换⇔右侧乘初等变换矩阵)
引理2.2 通过初等变换可以实现高斯(若尔当)消元.

证明2.1(行初等变换)

• 一行乘以非零常数, 不改变行秩, 不改变列秩.
• 两行相互调换位置, 不改变行秩, 不改变列秩.
• 一行加上另一行的常数倍, 不改变行秩, 不改变列秩.

证明2.1(列初等变换)

• 一列乘以非零常数, 不改变列秩, 不改变行秩.
• 两列相互调换位置, 不改变列秩, 不改变行秩.
• 一列加上另一列的常数倍, 不改变列秩, 不改变行秩.

注
上述初等命题证明不能用到高等数学工具, 非常繁琐, 仅给出以下框架.

• 证明 X 变换成 X’ 后不改变秩, 即证明 rank(X) = rank(X’), 即证明 rank(X) ⩽ rank(X’) 且 rank(X) ⩾ rank(X’).
• 证明 rank(X) ⩽ rank(X’) 即证明 “若{x1,…,xk}线性无关, 则{x’1,…,x’k}线性无关”, 即证明 “若‘λ1x1+…+λkxk=0 当且仅当 λ1=…=λk=0’, 则‘λ1x’1+…+λkx’k=0 当且仅当 λ1=…=λk=0’”.

证明2.2

• 首先, 仅通过行初等变化转化成行阶梯矩阵; 然后, 仅通过列初等变换转化成列阶梯矩阵; 最终, 每列/每行至多有一个元素不为零.

奇异值分解天然的能够证明线性代数基本定理, 核心思想与初等变换一样, 是左乘非奇异方形矩阵右乘非奇异方形矩阵得到对角矩阵, (实际上, 阶梯矩阵再做初等变换就能得到对角矩阵).

以下假设$X,Z\in {\mathbb{R}}^{m\times n},Y\in {\mathbb{R}}^{n\times l}$.

命题 a$\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X^T)$
逻辑关系: a ⇔ a’ (a 与 a’ 等价)

• 命题 a’$\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=\mathrm{r}\mathrm{o}\mathrm{w}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)$
  由引理2, 任意矩阵, 经过高斯(若尔当)消元, 最终, 每列/每行至多有一个元素不为零. 由于初等变换不改变矩阵的行秩和列秩, 所以矩阵的行秩与列秩相等, 等于最终不为零元素的个数.

命题 b c o l _ r a n k ( X ) ⩽ min ⁡ { m , n } {\rm col\_rank}(X) \leqslant \min\{m,n\} col_rank(X)⩽min{ m,n}
逻辑关系: b = b.1 ∨ b.2 (b 是 b.1 或者 b.2)

• 情形 b.1 min ⁡ { m , n } = n \min\{m,n\} = n min{ m,n}=n
  $\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=n-\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X)]⩽n$
• 情形 b.2 min ⁡ { m , n } = m \min\{m,n\} = m min{ m,n}=m
  i m ( X ) = { X ⋅ v ∣ v ∈ R n } ⊆ R m {\rm im}(X) = \{X \cdot v \mid v \in \mathbb{R}^n\} \subseteq \mathbb{R}^m im(X)={ X⋅v∣v∈Rn}⊆Rm
  $\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{i}\mathrm{m}(X)]⩽\mathrm{d}\mathrm{i}\mathrm{m}[{\mathbb{R}}^m]=m$

命题 c$\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X+Z)⩽\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)+\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(Z)$
逻辑关系: c ⇐ c.1 ⇐ c.2 ⇐ c.3 (c.3 平凡)

• 命题 c.1$\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X+Z)]⩾\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X)]+\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(Z)]$
• 命题 c.2$\mathrm{k}\mathrm{e}\mathrm{r}(X+Z)\supseteq \mathrm{k}\mathrm{e}\mathrm{r}(X)+\mathrm{k}\mathrm{e}\mathrm{r}(Z)$
• 命题 c.3 ∀ v ∈ R n , X ⋅ v = 0   ∧   Z ⋅ v = 0 → ( X + Z ) ⋅ v = 0 \forall v \in \mathbb{R}^n, X \cdot v = 0 ~ \wedge ~ Z \cdot v = 0 \rightarrow (X+Z) \cdot v = 0 ∀v∈R