本质矩阵描述了相机内参已知的情况下同一个点不同视角下的关系,5自由度。即已知同一个点在两帧图像下的坐标,两个坐标、相机内参、本质矩阵满足对极约束条件(1-1)。
基础矩阵描述了同一个点在不同视角下的关系,7自由度。
单应矩阵描述了同一平面上的点在不同视角下的关系、即两个相机坐标系下的变换关系,9自由度。
这三个矩阵都用于求解相机的位姿,单应矩阵适合平面场景,其余两个适合普通场景。
1 本质矩阵(Essential Matrix)
本质矩阵由对极约束定义,对极约束的推导过程见SLAM前端:对极几何、三角测量。对极约束如下:
(1-1)
本质矩阵的定义:
(1-2)
一般对极几何求解R、t时不通过直接求解方程组得到,一般通过求解本质矩阵E再矩阵分解得到R与t。由于矩阵E包含了旋转信息R(3自由度)与平移信息t(3自由度),并且对于式(1-2)等式左右乘以一个数等式依旧成立,一次本质矩阵E没有尺度信息,少一个自由度,因此为5自由度。
2 基础矩阵(Fundamental Matrix)
基础矩阵同样由对极约束定义,满足对极约束条件(1-1),定义如下:
(1-3)
相比本质矩阵E,基础矩阵包含了相机内参信息K。基础矩阵F的自由度为7,9个位置参数满足尺度统一性并且F的行列式为0。为什么F的行列式为0?因为的秩为2,并且K矩阵满秩可逆。矩阵乘以可逆矩阵,该矩阵的秩不变。
为什么的秩为2?因为R可逆,矩阵的秩为2。
为什么矩阵的秩为2?对其进行初等变换如下:
初等变换不改变矩阵的秩。也可以直接用定理:反对称矩阵的行列式为0,矩阵不满秩。
3 单应矩阵
单应矩阵用于描述共同平面上的点在两张图之间的对应关系。如果图像上的匹配点位于平面上,则有:
n为法向量。可以得到:
对于平面P上的某一点,假设在上的投影点为,在上的投影点为,的变换关系为R,t。可以得到:
由,即得到:
定义单应矩阵为:
自由度为9。
参考链接:多视图几何