计算机视觉——基础矩阵

一、简介

在计算机视觉中，基础矩阵（Fundamental matrix）F是一个3×3的矩阵，表达了立体像对的像点之间的对应关系。在对极几何中，对于立体像对中的一对同名点，它们的齐次化图像坐标分别为p与 p’，表示一条必定经过p’的直线（极线）。这意味着立体像对的所有同名点对都满足：

F矩阵中蕴含了立体像对的两幅图像在拍摄时相互之间的空间几何关系（外参数）以及相机检校参数（内参数），包括旋转、位移、像主点坐标和焦距。因为F矩阵的秩为2，并且可以自由缩放（尺度化），所以只需7对同名点即可估算出F的值。
基础矩阵这一概念由Q. T. Luong在他那篇很有影响力的博士毕业论文中提出。 Faugeras则是在1992年发表的著作中以上面的关系式给出了F矩阵的定义。尽管Longuet-Higgins提出的本质矩阵也满足类似的关系式，但本质矩阵中并不蕴含相机检校参数。本质矩阵与基础矩阵之间的关系可由下式表达：

其中K和K’分别为两个相机的内参数矩阵。

二、原理

基础矩阵有许多种推导方式，下面介绍其中一种。
在双相机的拍摄场景中建立一个空间直角坐标系，称为世界坐标系（如图1中蓝色坐标系）。物点就是场景中物体表面上的点，比如说点P在世界坐标系中的坐标为
相机的光心从物理上讲就是相机镜头组的光学中心。以光心为原点，主光轴为Z轴建立空间直角坐标系，称为相机坐标系（如图1中绿色和红色坐标系）。像平面在相机坐标系中的方程即为z=f，像点就是在物点在像平面上的投影，这个投影关系是透视投影。
用一句话来概括相机的拍摄模型，就是物点、像点、光心三点一线，此模型称为针孔相机模型。在此模型中，世界坐标系到左右相机坐标系的变换是刚性变换，即只包含旋转和平移，因此我们分别用增广矩阵[R|t]和[R’|t’]表示，其中R和R’是3*3的旋转矩阵，t和t’为平移向量。令为P的齐次化坐标，那么物点P在左右相机坐标系下的坐标分别为

以一台相机为例，如图2所示，C为相机光心，Z轴为主轴。物点在相机坐标系下的坐标和以相片左下角为原点的像点坐标p有如下关系：

式中为像主点在相机坐标系下的坐标。
设两相机内参数矩阵同为：

那么物点与像点之间的关系为：

将