计算机视觉基础4——对极几何(Epipolar Geometry)

先思考一个问题：用两个相机在不同的位置拍摄同一物体，如果两张照片中的景物有重叠的部分，我们有理由相信，这两张照片之间存在一定的对应关系，本节的任务就是如何描述它们之间的对应关系，描述工具是对极几何 ，它是研究立体视觉的重要数学方法。

　　要寻找两幅图像之间的对应关系，最直接的方法就是逐点匹配，如果加以一定的约束条件对极约束(epipolar constraint)，搜索的范围可以大大减小。

　　先回顾简单的立体成像系统

对极约束的图示

更一般的立体成像关系：两个相机的坐标无任何约束关系，相机的内部参数可能不同，甚至是未知的。要刻画这种情况下的两幅图像之间的对应关系，需要引入两个重要的概念——对极矩阵(Epipolar Matrix)和基本矩阵(Fundamental Matrix)。

对极几何中的重要概念（参考下图）：

极点：极点 el el:右相机坐标原点在左像平面上的像；极点 er er:左相机坐标原点在右像平面上的像

极平面：由两个相机坐标原点 Ol Ol、 Or Or和物点P组成的平面

级线：极平面与两个像平面的交线，即 plel plel和 prer prer

级线约束：两极线上点的对应关系

有点烦人，先转移一下话题：What would Pinhead’s eye look like close up?

 

如果两个人同时看这一景物，将是什么样的呢？

 

再回到对极几何图上来，通过上面几幅图示，利用对极几何的约束关系，我们可以：

1. 找到物点P在左像平面上的像点 pl pl；

2. 画出极线 plel plel；

3. 找到极平面 Olplel Olplel与右像平面的交线，即得极线 prer prer；

4. 像点 pl pl的对应点一定在极一 prer prer上。

两个相机坐标系之间的关系为

由于R是正交矩阵，因此可写为

三向量共面，它们的混合积为零(混合积对应于有向体积)

将向量乘(叉乘)写成矩阵的形式

通过进一步的改写，可以得到左像点和右像点之间约束关系(非常简单、漂亮)

显然，左像点 pl pl和右像点 pr pr是通过矩阵 E=RS E=RS来约束的，我们称矩阵 E E为本质矩阵(Essential Matrix)，它的基本性质有：

• has rank 2(秩为2)

• depends only on the EXTRINSIC Parameters (R & T)(仅依赖于外部参数R和T)

 

关于本质矩阵的性质，见下一节：立体视觉基础5——本质矩阵与基本矩阵

总结：看到这么多公式，要炸。