先思考一个问题:用两个相机在不同的位置拍摄同一物体,如果两张照片中的景物有重叠的部分,我们有理由相信,这两张照片之间存在一定的对应关系,本节的任务就是如何描述它们之间的对应关系,描述工具是对极几何 ,它是研究立体视觉的重要数学方法。
要寻找两幅图像之间的对应关系,最直接的方法就是逐点匹配,如果加以一定的约束条件对极约束(epipolar constraint),搜索的范围可以大大减小。
先回顾简单的立体成像系统
对极约束的图示
更一般的立体成像关系:两个相机的坐标无任何约束关系,相机的内部参数可能不同,甚至是未知的。要刻画这种情况下的两幅图像之间的对应关系,需要引入两个重要的概念——对极矩阵(Epipolar Matrix)和基本矩阵(Fundamental Matrix)。
对极几何中的重要概念(参考下图):
极点:极点
:右相机坐标原点在左像平面上的像;极点:左相机坐标原点在右像平面上的像
极平面:由两个相机坐标原点
、和物点P组成的平面
级线:极平面与两个像平面的交线,即
和级线约束:两极线上点的对应关系
有点烦人,先转移一下话题:What would Pinhead’s eye look like close up?
如果两个人同时看这一景物,将是什么样的呢?
再回到对极几何图上来,通过上面几幅图示,利用对极几何的约束关系,我们可以:
1. 找到物点P在左像平面上的像点
;
2. 画出极线
;
3. 找到极平面
与右像平面的交线,即得极线;
4. 像点
的对应点一定在极一上。
两个相机坐标系之间的关系为
由于R是正交矩阵,因此可写为
三向量共面,它们的混合积为零(混合积对应于有向体积)
将向量乘(叉乘)写成矩阵的形式
通过进一步的改写,可以得到左像点和右像点之间约束关系(非常简单、漂亮)
显然,左像点
和右像点 是通过矩阵 来约束的,我们称矩阵为本质矩阵(Essential Matrix),它的基本性质有:
• has rank 2(秩为2)
• depends only on the EXTRINSIC Parameters (R & T)(仅依赖于外部参数R和T)
关于本质矩阵的性质,见下一节:立体视觉基础5——本质矩阵与基本矩阵
转载自 http://www.cnblogs.com/gemstone/archive/2011/12/20/2294551.html