求解基础矩阵

一、对极几何

1.1概念

对极几何（Epipolar Geometry）是Structure from Motion问题中，在两个相机位置产生的两幅图像的之间存在的一种特殊几何关系，是sfm问题中2D-2D求解两帧间相机姿态的基本模型。

1.2基本模型

其中c0、c1为两个相机中心，p为空间中一点，p在c0、c1对应像平面上的投影分别为x0、x1。c0、c1连线与像平面的交点e0、e1称为极点（Epipoles），l0、l1称为极线（Epipolar Lines），c0、c1、p三点组成的平面称为极平面（Epipolar Plane）。

二、基础矩阵

通过对极几何一副图像上的点可以确定另外一幅图像上的一条直线，这种情况用基础矩阵来表示。通过一种映射，一幅图像上的点可以确定另外一副图像上的一个点，这种情况用单应矩阵。
本质矩阵是基础矩阵的一种特殊情况，是在归一化图像坐标下的基础矩阵。
本质矩阵
存在一个不经过两个相机光心的的平面π，光心C与x的射线与平面π相交与一点X。该点X又投影到第二幅图像平面上的点x′。这个称为点x通过平面π的转移。点x，x′是平面ππ上的3D点X在两个相机平面上的像。对应每一个3D点X都存在一个2D的单应R把每一个x映射到x′。

如上图所示，给定一个目标点P，以左摄像头光心Ol为原点。点P相对于光心Ol的观察位置为Pl，相对于光心Or的观察位置为Pr。点P在左摄像头成像平面上的位置为pl，在右摄像头成像平面上的位置为pr。
现在我们要寻找由点P、Ol和Or确定的对极平面的表达式。注意到平面上任意一点x与点a的连线垂直于平面法向量n，即向量 (x-a) 与向量 n 的点积为0：(x-a)·n = 0。在Ol坐标系中，光心Or的位置为T，则P、Ol和Or确定的对极平面可由下式表示：

由Pr = R(Pl-T) 得
另一方面，向量的叉积又可表示为矩阵与向量的乘积，记向量T的矩阵表示为S，得：


也就可以得到
就可以得到本质矩阵E=RS。
通过矩阵E我们知道Pl和Pr的关系满足：

根据相似三角形定理，pl = flPl/Zl 和 pr = frPr/Zr 我们可以得到点P在左右两个摄像机坐标系中的观察点 pl 和 pr 应满足的极线约束关系为：

注意到 E 是不满秩的，它的秩为2，那么

表示的是一条直线，也就是对极线。

2.1基本矩阵原理

为了描述对极几何，引入基础矩阵F。对于一幅图像上的点x（图上p1），在另一幅图像上存在对极线l’，并且在第二幅图像上，与x匹配的点x’（点p2）必然在l’上。为了表示