对极几何与基础矩阵

1.实验原理

1.1对极几何

当使用两个相机在不同位置对同一场景进行拍摄时，为了描述两幅图像之间的关系，引入对极几何。对极几何是两幅图像之间，两幅图像上的匹配点与以基线（连接两摄像机中心的直线）为轴的平面束的交的几何。如下图所示：

图中的灰色平面π，只是过基线的平面束中的一个平面（当然，该平面才是平面束中最重要的、也是我们要研究的平面）；
epipolarpoints极点：
每一个相机的透镜中心是不同的，会投射到另一个相机像面的不同点上。这两个像点用eL和eR表示，被称为epipolarpoints极点。两个极点eL、eR分别与透镜中心OL、OR在空间中位于一条直线上。
epipolarplane极面：
将X、OL和OR三点形成的面称为epipolarplane极面。
epipolarline极线：
直线OL-X被左相机看做一个点，因为它和透镜中心位于一条线上。然而，从右相机看直线OL-X，则是像面上的一条线直线eR-XR，被称为epipolarline极线。从另一个角度看，极面X-OL-OR与相机像面相交形成极线。
极线是3D空间中点X的位置函数，随X变化，两幅图像会生成一组极线。直线OL-X通过透镜中心OL，右像面中对应的极线必然通过极点eR。一幅图像中的所有极线包含了该图像的所有极点。实际上，任意一条包含极点的线都是由空间中某一点X推导出的一条极线。

1.2基础矩阵原理

在计算机视觉中，基础矩阵（Fundamental matrix）F是一个3×3的矩阵，表达了立体像对的像点之间的对应关系。在对极几何中，对于立体像对中的一对同名点，它们的齐次化图像坐标分别为p与 p’，FP表示一条必定经过p’的直线（极线）。这意味着立体像对的所有同名点对都满足：$$p^{\prime T}Fp=0$$
F矩阵中蕴含了立体像对的两幅图像在拍摄时相互之间的空间几何关系（外参数）以及相机检校参数（内参数），包括旋转、位移、像主点坐标和焦距。因为F矩阵的秩为2，并且可以自由缩放（尺度化），所以只需7对同名点即可估算出F的值。
基础矩阵这一概念由Q. T. Luong在他那篇很有影响力的博士毕业论文中提出。
Faugeras则是在1992年发表的著作中以上面的关系式给出了F矩阵的定义。尽管Longuet-Higgins提出的本质矩阵也满足类似的关系式，但本质矩阵中并不蕴含相机检校参数。本质矩阵与基础矩阵之间的关系可由下式表达：$$E$$