《计算机双目立体视觉》学习笔记：对极几何

由双目立体视觉系统获得的来自同一场景的两幅图像之间存在着一定的约束关系，也就是说，当我们用两个相机在不同的位置拍摄同一个场景或者物体时，如果两张照片中的景物有重叠的部分，那么这两张照片之间就存在一定的对应关系，用来描述这种关系的就是对极几何（epipolar geometry）。

首先，我们结合图1明确一下之后提到的各种概念所指的对象：

• 匹配点（matching points）：由同一物点在左右摄像机中所成的像点称为一对匹配点，如与；
• 基线（baseline）：连接两个摄像机光心的直线，即直线 ；
• 对极点（epipolar）：基线与像平面的交点，即点  与点 ；
• 对极平面（epipolar plane）：任何包含基线的平面，如平面；
• 对极线（epipolar line）：对极平面与图像平面的交线，如直线  与直线 ；

图1

根据两个相机光轴是否平行，双目立体视觉系统可以分为平行与非平行双目视觉系统两类。从理论上来讲，两条极线应该共线，但是由于相机实际摆放不准确或镜头畸变等原因，使得两者只是接近共线。

在建立成像模型之前，我们再详细说一下极线（epipolar line）和极点（epipoles），好多教程都对这块内容一笔带过，所以让人看得时候很费劲。

如图2所示，根据相机的成像原理，对于一张照片里的一个点 ，它在三维世界里所对应的物体 w 必定位于一条穿过相机的光心和成像平面中的像点  的直线，即 上。因此我们不能从这单独的一张图像中获得w点具体的位置信息。如果我们引入另一个相机拍摄w，那么，第二幅图像中w点的投影位置  必定位于光线 在投影平面2中的某个位置上。极线其实也可以理解为三维空间中的光线在二维空间中的投影。对于第一幅图像中的任意点，其在第二幅图像中的对应点被限制在一条线上，这就是所谓的极线约束。三维空间中的光线在二维空间中的投影就是极线。对于第一幅图像中的任意点，其在第二幅图像中的对应点被限制在一条线上。这就是所谓的极线约束。同样的，两个相机拍摄的两幅图中的两个相匹配的w的像点与相机光心构成的两条射线必定相交于空间中的一点，即w点处，那这种一堆匹配像点之间存在的约束关系，被称为对极约束。