视觉SLAM 第7讲 本质矩阵 基础矩阵 单应矩阵 知识点/证明/理解/秩/自由度

1. 基础知识

1. 定义：矩阵$A=(a_{ij}{)}_{m\times n}$的不为零的子式的最大阶数称为矩阵A的秩，记作$rank(A)$。也有另一种理解，矩阵A在经过初等变换后的非零行（列）的个数为矩阵的秩；
2. 性质：
   1. 一个矩阵乘以可逆矩阵秩不改变
   2. 矩阵的秩等于非零奇异值的个数，也就是非零特征值的个数
   3. 可逆矩阵秩等于n
3. 矩阵自由度DOF的理解​

2. 本质矩阵E

本质矩阵Essential Matrix为对极约束里的定义矩阵，本质矩阵描述了空间中一点对应的两个归一化平面坐标之间的约束关系。对极约束：
​$\begin{array}{r}{x}_2^{\top }{t}^{\wedge }R{x}_1=0\\ p_2^{\top }{K}^{-\top }{t}^{\wedge }R{K}^{-1}{p}_1=0\end{array}$
其中本质矩阵定义为：$E=t^{\wedge }R$

2.1 本质矩阵的秩为什么是2

两种思路进行解释：

1. 矩阵乘以可逆矩阵后，矩阵的秩不改变。本质矩阵中的乘积项旋转矩阵R属于特殊正交群，我们知道特征正交群的矩阵是正交矩阵，正交矩阵一定可逆，可逆矩阵的秩等于n。而左乘项$t^{\wedge }$为三维反对称矩阵，反对称矩阵的秩必为偶数，而位移t并非0向量，所以秩为2。秩为2的矩阵乘以可逆矩阵秩不改变，所以本质矩阵的秩为2。
2. 矩阵的秩为非零奇异值的个数。而我们知道本质矩阵的内在性质是E的奇异值必定是$[\sigma ,\sigma ,0{]}^{\top }$的形式。相关的证明在这里本质矩阵E的内在性质证明。当E不为0时，秩为2。但是本质矩阵是对极约束中用于求解相机运动的，虽然书上没有明确说明E不能为0，但是为0时代表相机位移t为0，为纯旋转运动，对极约束失效了，基础矩阵出现了所谓的退化（degenerate）。所以，由于本质矩阵的内在性质，本质矩阵的秩为2。

2.2 本质矩阵的自由度为什么是5

由于本质矩阵是$E=t^{\wedge }R$，位移3个自由度，旋转3个自由度，有6个自由度，但是由于尺度等价性，自由度减1，所以最终本质矩阵的自由度是5。为什么尺度等价性自由度会减1？

3. 基础矩阵F

基础矩阵Fundamental Matrix为对极约束里的定义矩阵，基础矩阵描述了空间中一点对应的两个像素点坐标之间的约束关系。对极约束：
​$\begin{array}{r}{x}_2^{\top }{t}^{\wedge }R{x}_1=0\\ p_2^{\top }{K}^{-\top }{t}^{\wedge }R{K}^{-1}{p}_1=0\end{array}$
其中本质矩阵定义为：$F=K^{-\top }E{K}^{-1}$

3.1 基础矩阵的秩为什么是2

内参矩阵$K=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$，可以想象K的行列式不等于0，所以K是个可逆矩阵。我们知道矩阵乘以可逆矩阵后，秩不改变。前面已经证明了本质矩阵E的秩为2，而F是本质矩阵与可逆矩阵K的乘积，所以F的秩也为2。

3.2 基础矩阵的自由度为什么是7

基础矩阵是内参矩阵、位移的反对成矩阵、旋转矩阵之间的乘积，内参矩阵自由度为4，位移为3，旋转矩阵为3，加起来有10个参数。但是基础矩阵为$3\times 3$的矩阵，自由度最多为9。但是由于：

1. 尺度等价性，自由度减1
2. 基础矩阵F满足行列式为0的约束，自由度再减1

4. 单应矩阵H

单应矩阵Homography描述了两个平面之间的映射关系。求解单应矩阵的所有空间点都位于同一个平面上，也就是两帧的空间点都满足同一个射影变换，该射影变换即为单应矩阵。

4.1 单应矩阵的秩为什么是3

单应矩阵是可逆矩阵，可逆矩阵的秩等于n，所以单应矩阵的秩为3。

4.2 单应矩阵的自由度为什么是8

单应矩阵满足尺度等价性。