【TSVD】（一）range、null space 和 rank

在做非线性问题的优化时，难免会遇到一些自由度不可观的问题，如果这个自由度在理论上就是不可观的（比如，不管怎么运动都无法令这个自由度从不可观变成可观），那么在优化的时候就要单独地把这个自由度设置成fixed.
如果这个自由度理论上是可观的，而这并不表示该自由度在现实中一定是可观的（比如，需要满足一定的运动条件才能令这个自由度可观），也就是，对该自由度约束越多，可观性越强，反之亦然.
那么在优化中如何自动判定当前自由度是否可观呢？可观时，更新该自由度，不可观时，fixed该自由度. 下面介绍的TSVD就是为了解决这个问题.

---

1. 线性空间

1.1 span

假设存在一向量空间$\mathcal{V}$，span也是一个向量空间，它由一组来自$\mathcal{V}$的向量 { v 1 , … , v n } \left\{\mathbf{v}_{1}, \ldots, \mathbf{v}_{n}\right\} {v1​,…,vn​}的全部可能的任意组合构成
span ⁡ [ { v 1 , … , v n } ] = { ∑ i = 1 n c i v i ∣ c i ∈ F } \operatorname{span}\left[\left\{\mathbf{v}_{1}, \ldots, \mathbf{v}_{n}\right\}\right]=\left\{\sum_{i=1}^{n} c_{i} \mathbf{v}_{i} \mid c_{i} \in \mathcal{F}\right\} span[{v1​,…,vn​}]={i=1∑n​ci​vi​∣ci​∈F}

线性无关的定义
如果只有当$c_i$都为零时，才能组合得到零向量的话，那么这组向量就是线性无关的，也就是说，这组向量中任何一个都不能通过其它向量组合得到

1.2 range定义

也叫，列空间/值域
线性映射（linear map） $f$ 可以将 $\mathcal{V}$ mapping到另一个向量空间$\mathcal{W}$，linear map $f$的range or image定义如下：
r a n g e [ f ] = { w ∈ W ∣ w = f ( v ) , v ∈ V } range [f]=\{\mathbf{w} \in \mathcal{W} \mid \mathbf{w}=f(\mathbf{v}), \mathbf{v} \in \mathcal{V}\} range[f]={w∈W∣w=f(v),v∈V}

range是$\mathcal{W}$的一个子集

1.3 kernel/nullspace定义

 kernel  [ f ] = { v ∈ V ∣ f ( v ) = 0 , 0 ∈ W } \text { kernel }[f]=\{\mathbf{v} \in \mathcal{V} \mid f(\mathbf{v})=\mathbf{0}, \mathbf{0} \in \mathcal{W}\}  kernel [f]={v∈V∣f(v)=0,0∈W}

kernel是$\mathcal{V}$的一个子集

1.4 rank-nullity theorem

$$\dim [\text{ kernel }[f]]+\dim [\text{ range }[f]]=\dim [\mathcal{V}]$$

---

2. 线性映射矩阵

定义一个线性映射$A_{m\times n}$，表示可以将任意向量${\mathbf{v}}_{\mathbf{n}\times 1}\in \mathcal{V}$映射到${\mathbf{w}}_{\mathbf{m}\times 1}\in \mathcal{W}$

2.1 矩阵的range定义

 range  [ A ] = { w ∈ W ∣ w = A v , v ∈ V } \text { range }[\mathbf{A}]=\{\mathbf{w} \in \mathcal{W} \mid \mathbf{w}=\mathbf{A} \mathbf{v}, \mathbf{v} \in \mathcal{V}\}  range [A]={w∈W∣w=Av,v∈V}

矩阵$A$的列向量集合为 { a 1 , … , a n } \left\{\mathbf{a}_{1}, \ldots, \mathbf{a}_{n}\right\} {a1​,…,an​}，那么range也可以定义成：

range ⁡ [ A ] = span ⁡ [ { a 1 , … , a n } ] \operatorname{range}[\mathbf{A}]=\operatorname{span}\left[\left\{\mathbf{a}_{1}, \ldots, \mathbf{a}_{n}\right\}\right] range[A]=span[{a1​,…,an​}]

进一步，矩阵的range的秩与矩阵的秩相等
$$\mathrm{rank}[\mathbf{A}]=\dim [\text{ range }[\mathbf{A}]]$$

2.2 矩阵的kernel定义

 null  [ A ] = { v ∈ V ∣ A v = 0 , 0 ∈ W } \text { null }[\mathbf{A}]=\{\mathbf{v} \in \mathcal{V} \mid \mathbf{A} \mathbf{v}=\mathbf{0}, \mathbf{0} \in \mathcal{W}\}  null [A]={v∈V∣Av=0,0∈W}

2.3 矩阵的rank-nullity theorem

$$\dim [\text{ null }[\mathbf{A}]]+\mathrm{rank}[\mathbf{A}]=n$$

---

3. SVD分解中的range、nullspace和rank

$$A=UD{V}^T\to AV=UD$$

比较column（矩阵块乘法）可得：
$$A{v}_i={\sigma }_i{u}_i$$

假设$rank(A)=r$，
当奇异值大于零时（$\frac{A{v}_i}{{\sigma }_i}=u_i$），参照2.1中矩阵range的定义可知，
range ⁡ [ A ] = span ⁡ [ { u 1 , … , u r } ] \operatorname{range}[\mathbf{A}]=\operatorname{span}\left[\left\{\mathbf{u}_{1}, \ldots, \mathbf{u}_{r}\right\}\right] range[A]=span[{u1​,…,ur​}]

当奇异值等于0时，可得，
 null  [ A ] = span ⁡ [ { v r + 1 , … , v n } ] \text { null }[\mathbf{A}]=\operatorname{span}\left[\left\{\mathbf{v}_{r+1}, \ldots, \mathbf{v}_{n}\right\}\right]  null [A]=span[{vr+1​,…,vn​}]

---

4. 近似矩阵

假设矩阵$A$的rank是$r$，其可以写成：
$$\mathbf{A}=\sum _{i=1}^r{\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T$$

对其进行low-rank approximation，得到近似矩阵$A_k$：
$${\mathbf{A}}_k=\sum _{i=1}^k{\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T,k<r$$

上面的近似过程中仅使用了前$k$个奇异值和奇异向量，$\mathbf{A}-{\mathbf{A}}_{\mathbf{k}}$由剩下的$r-k$个奇异值和奇异向量构成，那么可得：
$$\Vert \mathbf{A}-{\mathbf{A}}_{\mathbf{k}}{\Vert }_2={\sigma }_{k+1}$$

---

5. 代数秩（algebraic rank）与数值秩（numerical rank）

5.1 代数秩

代数秩（algebraic rank）是指通过行列式变换得到的秩，
$$\mathbf{A}=\left(\begin{array}{lll}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right)$$

对$A$加上随机噪声得到$A^{\ast }$:
$${\mathbf{A}}^{\ast }=\left(\begin{array}{lll}1.0003& 1.9983& 3.0003\\ 3.9992& 4.9999& 6.0003\\ 7.0014& 7.9998& 8.9991\end{array}\right)$$

$A^{\ast }$在代数上满秩（通过行列式变换得到），实际上却是欠定的，这种现象在真实世界中很常见

5.2 数值秩

根据$p=2$诱导矩阵范数定义numerical rank 为 $r_{ϵ}$，$ϵ$为近似阈值
$$\mathrm{rank}[\mathbf{A},ϵ]=\underset{\Vert \mathbf{A}-\mathbf{B}{\Vert }_2\le ϵ}{\min }\mathrm{rank}[\mathbf{B}]$$

其中$ϵ$应满足
$${\sigma }_{r_{ϵ}}>ϵ\ge {\sigma }_{r_{ϵ}+1}$$

${\sigma }_{r_{ϵ}}$与${\sigma }_{r_{ϵ}}+1$之间的gap应该足够大，以保证能够应对噪声对$ϵ$的影响，如果奇异值从大到小缓慢变化到零，那么numerical rank 将是 ill-defined 的

---

@leatherwang

二零二零年十一月八日

---