对极几何

最新推荐文章于 2022-07-21 07:14:40 发布

skycrygg

最新推荐文章于 2022-07-21 07:14:40 发布

阅读量2k

点赞数 3

分类专栏： SLAM

原文链接：https://xhy3054.github.io/epipolar-geometry/

版权

SLAM 专栏收录该内容

33 篇文章 41 订阅

订阅专栏

如下图所示，对极几何通常用来解决双目匹配搜索对应点的问题。

上图a中两个摄像机的光心分别是C与C’，而X为一个三维空间点，它在两个摄像机的成像平面上的投影点分别是x与x’。我们常称：

基线：两个摄像机光心的连线CC′
对极点：上图b中的e与e’，它们分别是一幅视图中另一个摄像机中心的像。二维表示为基线CC′与两个成像平面的交点。
对极平面：是一张包含基线的平面，存在着对极平面的一个集合（以基线为轴转动），上图中的一个例子就是CXC′。
对极线：对极平面与图像平面的交线。上图中的例子是xe与x′e′，一个成像平面上的所有的对极线相交于对极点。

上图中还体现了一些性质，对于一幅图像上的每一点x，在第二幅图像上，任何与该点x匹配的点x’必然在对极线I’上，该对极线是过点x与第一个摄像机中心C的射线在第二幅图像上的投影。

基本矩阵F

在深度未知的情况下，对于一幅图像上的一点x，映射在另一幅图像上是一条与之对应的对极线I’。

基本矩阵F表示的正是这个从一个点到一条直线的射影映射。

由上，我们发现基本矩阵F实现的是从二维（二维点）到一维（一条线上的点）的转换，因此F的秩只能是2。

推导出基础矩阵与本质矩阵

由相机成像的几何描述我们可以理解如下的公式(世界坐标到像素坐标的转换)：

其中K是相机内参，R与t是第二个相机在第一个相机的相机坐标系下的外参，是此空间点在第一个相机的相机坐标系下的坐标。Z是空间点到相机光心的距离(也是相机坐标系下的z轴坐标)。是空间点PwPw在两个相机平面上的投影点。

首先做出如下定义（其中是归一化的相机坐标（X/Z,Y/Z,1））：

带入如上定义可得：

上式两边同时左乘t^，也就是两侧同时与t做外积：

两侧同时左乘：

上式中由于等式左侧是一个与t、x2都垂直的向量，再和x2做内积将得到0，因此上式子其实可以写成如下形式：

上式就是大名鼎鼎的対极约束，将换下，重新带入可得：

其中，中间项就是基础矩阵，满足如下：

此处注意，当点与基础矩阵F确定时，上式演变成一个直线方程，更好的诠释了基础矩阵的本质是从一个点到一条直线的射影映射的代数表示。

本质矩阵是基础矩阵中只与外参相关的部分，即去掉相机内参，可以得到：

基础矩阵与本质矩阵的性质

本质矩阵是两个矩阵的乘积，其中R的秩为3（满秩），t∧的秩为2，因此E的秩为2。
基础矩阵是四个矩阵的乘积，其中只有t∧的秩为2，其他的三个都是满秩的（为3）,最终秩也为2。
基础矩阵是四个矩阵的乘积，其中左右相机内参矩阵待定参数各4个，平移自由度是3，旋转自由度也是3，因此总共应该是14个待定参数。但是实际上F是一个3×3的矩阵，总共9个参数，所以它最大自由度是9。又因为F满足以下两个约束，所以F的自由度其实是9−2=7。
- 尺度等价性
- def(f)=0
本质矩阵的自由度由平移与旋转的各三个自由度组成，加上尺度等价性，因此本质矩阵自由度为5

对极约束条件的探讨

一般在slam中，可以通过本质矩阵E的奇异值分解得到相机相对于前一时刻的位姿变换。
但是在只有旋转没有平移时，対极约束是恒成立的，此时不能用本质矩阵进行相机的位姿估计。
対极约束条件是尺度无关的，所以恢复出来的的位姿变换具有尺度不确定性。

基础矩阵与本质矩阵的求解

由上面我们知道基础矩阵自由度为7，所以最少我们可以使用7对点来求解基础矩阵。同样，本质矩阵自由度是5，我们最小可以使用5对点进行求解。但是因为它们的内在性质中很多都是非线性的性质，因此使用最少的点数求解会比较麻烦，所以一般情况下，只考虑尺度等价性，然后使用8对点进行求解。这也叫作八点法。

考虑一对匹配点，它们的像素坐标（如果是求解本质矩阵，那就是归一化坐标）为。根据对极约束，有：