图像对的基础矩阵

通过对极几何一副图像上的点可以确定另外一幅图像上的一条直线，这种情况用基础矩阵来表示。通过一种映射，一幅图像上的点可以确定另外一副图像上的一个点，这种情况用单应矩阵。
本质矩阵是基础矩阵的一种特殊情况，是在归一化图像坐标下的基础矩阵。

对极几何

基础矩阵体现两张视图的对极几何的内在摄影几何的关系，基础矩阵只依赖于摄像机的内参K和外参R，t。

上图是一个两张视图的集合描述，其中c，c’是两个相机的光心，两点连线cc’称为基线，基线与图像平面的交点e，e’称为对极点，其中点x与点e的连线l，l’分别是图像点x，x’对应的对极线。

过e, e′的平面 π ,其平面上所有点在两个像平面中的 投影分别为直线 l 与 l’。
上面的左侧视图的图像平面上的点x，反向投影到射线cX上。由于点的深度未知，图像平面上的点x可能是射线上某一深度的3D点X。给定一对图像，当C，C’，x已知，第一幅图像上的每个点，在另外一幅图像上存在一条直线l’与之对应，也就是第二幅向上与点x对应的点x’必定在线l’上。

基础矩阵

本质矩阵
存在一个不经过两个相机光心的的平面π，光心C与x的射线与平面π相交与一点X。该点X又投影到第二幅图像平面上的点x′。这个称为点x通过平面π的转移。点x，x′是平面ππ上的3D点X在两个相机平面上的像。对应每一个3D点X都存在一个2D的单应R把每一个x映射到x′。

如上图所示，给定一个目标点P，以左摄像头光心Ol为原点。点P相对于光心Ol的观察位置为Pl，相对于光心Or的观察位置为Pr。点P在左摄像头成像平面上的位置为pl，在右摄像头成像平面上的位置为pr。
现在我们要寻找由点P、Ol和Or确定的对极平面的表达式。注意到平面上任意一点x与点a的连线垂直于平面法向量n，即向量 (x-a) 与向量 n 的点积为0：(x-a)·n = 0。在Ol坐标系中，光心Or的位置为T，则P、Ol和Or确定的对极平面可由下式表示：

由Pr = R(Pl-T) 和 可得：

另一方面，向量的叉积又可表示为矩阵与向量的乘积，记向量T的矩阵表示为S，得：


也就可以得到
就可以得到本质矩阵E=RS。
通过矩阵E我们知道Pl和Pr的关系满足：

根据相似三角形定理，pl = flPl/Zl 和 pr = frPr/Zr 我们可以得到点P在左右两个摄像机坐标系中的观察点 pl 和 pr 应满足的极线约束关系为：

注意到 E 是不满秩的，它的秩为2，
那么

表示的是一条直线，也就是对极线。

基础矩阵
将摄像机的内参信息将摄像头坐