SLAM入门之视觉里程计(3)：两视图对极约束 基础矩阵

在上篇相机模型中介绍了图像的成像过程，场景中的三维点通过“小孔”映射到二维的图像平面，可以使用下面公式描述：

$$x = MX$$ 其中， $c$是图像中的像点， $M$是一个 $3\times4$的相机矩阵， $X$是场景中的三维点。
通过小孔相机模型，可知假如从像点 $x$向相机的中心 $C$反投影一条射线 $\overrightarrow{xC}$，则该射线必定经过对应像点的三维空间点 $X$，但显然仅仅通过一个像点无法确定 $X$的具体位置，因为在射线 $\overrightarrow{xC}$上的任意空间点都可以通过“小孔”映射为像点 $x$。一个像点不行，那么如果两个相匹配的像点呢？
设 $x'$是三维点 $X$的另一个像点，其对应相机的中心为 $C'$，那么从像点也反投影一条射线 $\overrightarrow{x'c'}$，并且该射线也必定经过 $X$，也就是说从一对相匹配的像点反投影两条射线，必定相交于空间三维点 $X$，如下图

很显然，一对匹配的像点之间存在这某种约束关系，这种约束被称为 两视图的对极约束。

本文主要介绍了两视图的对极约束-基础矩阵，并用几何和代数两种形式推导基础矩阵的表达形式以及从基础矩阵可以分解出相机的位姿（旋转和平移）。

对极几何

对极几何描述的是两视图之间的内存射影关系，同一个三维点在两个不同的视角下的像点存在着约束关系，如下图三维点$X$在两幅图像的像点分分别为$x,x'$

对极几何主要涉及以下几个元素：

• 基线（Baseline），两个相机中心的连线$CC'$称为基线
• 对极点 epipolar ，$e,e'$是对极点，是基线和两个成像平面的交点，也就是两个相机在另一个成像平面的像点；$e$是右边的相机中心$C'$在左边相机的像点，同样$e'$是左边相机中心$C$在右边相机的像点。
• 对极平面 epipolar plane，任何过基线的平面都被才称为对极平面，两个相机的中心$C$和$C'$，三维点$X$，以及其在两个相机的像点$x,x'$，这5点必定在同一个对极平面上。当三维点$X$变化时，对极平面绕着基线旋转，形成对极平面束。
• 对极线 epipolar line ,对极平面和成像平面的交线，所有的对极线相交于极点。

从上面的几何元素可知，对极几何和相机的内参、外参没有关系，和场景的结构也没有关系，仅和场景的一对匹配的像点有关系。

基础矩阵F

给定一对图像（同一场景不同视角得到的图像），从上面的图可知，对于第一幅图像上的任一像点$x$，在第二幅图像中都有一条与之对应的对极线$l'$，该对极线是像点$x$与过第一个相机中心$C$射线在第二幅图像上的投影，并且第二幅图像中与$x$相匹配的像点$x'$必定在该对极线上。因此，存在一个像点$x$到另一个图像上对极线$l'$的映射：

$$x \rightarrow l'$$
基础矩阵$F$表示的就是这种从点到直线的映射。

F的几何推导

该推导来自《计算机视觉中的多视图几何》。

要将一幅图像上的像点$x$映射到另一幅图像对应的对极线$l'$可以分为两步：第一步，将像点$x$映射到另一幅图像上与之对应的对极线$l'$上的某点$x'$上，$x'$是$x$的匹配点；第二步，连接对极点