ORB SLAM 对极几何 基础矩阵和本质矩阵

对极几何

 

对极几何[Epipolar Geometry]描述的是两幅视图之间的内在射影关系，与外部场景无关，只依赖于摄像机内参数和这两幅试图之间的的相对姿态。

  

1. 基线[baseline]：直线CC'为基线。

2. 对极平面束[epipolar pencil]：以基线为轴的平面束。

3. 对极平面[epipolar plane]：任何包含基线的平面都称为对极平面。

4. 对极点[epipole]：摄像机的基线与每幅图像的交点。比如，上图中的点e和e'。

5. 对极线[epipolar line]：对极平面与图像的交线。比如，上图中的直线l和l'。

6. 5点共面：点x，x'，摄像机中心C、C'，空间点X是5点共面的。

7. 极线约束：两极线上点的对应关系。

说明：直线l是对应于点x'的极线，直线l'是对应于点x的极线。极线约束是指点x'一定在对应于x的极线l'上，点x一定在对应于x'的极线l上。

二. 对极几何原理

1. 理想模型

假设两个相机的内部参数一致，比如焦距、镜头等，为了数学描述的方便，需引入坐标，由于坐标是人为引入的，因此客观世界中的事物可以处于不同的坐标系中。假设两个相机的X轴方向一致，像平面重叠，坐标系以左相机为准，右相机相对于左相机是简单的平移，用坐标表示为(Tx,0,0)。如下所示：

在左右相机中像平面像点的坐标，如下所示：

综上可知，深度Z和视差d成反比，这也是为什么近的物体看起来比远的物体移动的快。

如果仅看一个相机，我们并不能知道深度信息，可如果有两个相机的话（就像人有两只眼睛）我们就能得到深度的信息，

2. 实际模型

更一般的立体成像关系是两个相机的坐标无任何约束关系，相机的内部参数可能不同，甚至是未知的。要刻画这种情况下的两幅图像之间的对应关系，需要引入两个重要的概念：本征矩阵E和基本矩阵F。本征矩阵E包含物理空间中两个摄像机相关的旋转和平移信息，基本矩阵F除了包含E的信息外，还包含两个摄像机的内参数。本征矩阵E将左摄像机观测到的点的物理坐标与右摄像机观测到的相同点的位置关联起来。基本矩阵F则是将一台摄像机的像平面上的点在图像坐标[像素]上的坐标和另一台摄像机的像平面上的点关联起来。

[1]本质矩阵E

本质矩阵E的推导过程，如下所示：

左像平面上的一点乘以本质矩阵E，结果为一条直线，该直线就是的对极线，且过在右像平面上的对应点。本质矩阵E的基本性质：秩为2，且仅依赖于外部参数R和T。其中，P表示物点矢量，p表示像点矢量。

[2]基本矩阵

由于本质矩阵E并不包含相机内参信息，且E是面向相机坐标系的。实际上，我们更感兴趣的是在像素坐标系上去研究一个像素点在另一视图上的对极线，这就需要用到相机内参信息将相机坐标系和像素坐标系联系起来。假设和是物理坐标值，其对应的像素坐标值为和，相机内参矩阵为M，那么。根据，那么。令基本矩阵，那么。

 

上图O和O'是两个相机中心，P点是物体所在，如果我们只看左边图像 上的点p，我们不能知道物体到底是在哪，点P1、P2或其他地方，可有了右边图像 上的p'我们就能得到物体点P在上图，我们把两相机中心的连线OO'成为基线，把他们与观测物体的平面OO'P成为对极平面，对极平面与两相机图像的交线l和l'称为对极线，而OO'与两图像的交点e,e'就是对极点。

随着观测点P的上下移动，对极平面也会围绕基线旋转

 

我们可以看到在左图对极平面旋转时对极点是不变的，而在相机图像上所有对极线都会交于对极点，这个对极点就是另一个相机中心在其图像上的像，当然正如右图所示，对极点可以在图像外。

基础矩阵和本质矩阵

推导

参考文章

对极几何原理-CSDN博客

对极几何-本质矩阵-基本矩阵-CSDN博客

基础矩阵和本质矩阵-CSDN博客