Python---基础矩阵

 先思考一个问题：用两个相机在不同的位置拍摄同一物体，如果两张照片中的景物有重叠的部分，就可以说这两张照片之间存在一定的对应关系，本文的任务就是描述它们之间的对应关系，描述工具是对极几何 ，和基础矩阵。

对极几何

1、基本概念

 它是图像平面与以基线为轴的平面束的交的几何（这里的基线是指连接摄像机中心的直线）。以下图为例：对极几何描述的是左右两幅图像(点x和x’对应的图像)与以CC’为轴的平面束的交的几何

直线CC’为基线，以该基线为轴存在一个平面束，该平面束与两幅图像平面相交。
下图为该平面束的直观形象，可以看到，该平面束中不同平面与两幅图像相交于不同直线

过e, e′的平面 π ,其平面上所有点在两个像平面中的 投影分别为直线 l 与 l’
上图中的平面π，只是过基线的平面束中的一个平面。∀π 的集与像平面的交线集，分别相交于 e 与 e’

2、对极几何的一个重要约束—5点共面约束

在下图中，空间点X在两幅图像中的像分别为x和x’，这两个投影点之间是否存在关系？

 点x、x’与摄像机中心C和C’是共面的，并且与空间点X也是空面的，这5个点共面于平面π。5个点决定了一个平面π是最本质的一个约束
 从上述约束，可以推导出一个重要性质：由图像点x和x’反投影的射线共面，并且，在平面π上

3、 对极几何的几个相关概念

对极平面束：以基线为轴的平面束；上图给出了包含两个平面的对极平面束
对极点 = 摄像机基线与像平面相交点 = 光心在另一幅图像中的投影，如上图中的e和e’
对极平面 = 任何包含基线的平面，或者说是对极平面束中的平面，上图中的平面π就是一个对极平面
对极线 = 对极平面与像平面的交线，上图中的I和I’

4、 对应点的约束

假设只知道图像点x，那么，它的对应点x’如何约束呢？

 由于点x和x’一定位于平面π上，而平面π可以利用基线CC’和图像点x的反投影射线确定
 点x’又是右侧图像平面上的点，所以，点x’一定位于平面π与右侧图像平面的交线l’上
 直线l’为点x的对极线，也就是说，点x的对应点x’一定位于它的对极线上。

基础矩阵

基础矩阵的作用：如果已知基础矩阵F，和一个3D点在一个像平面上的像素坐标p，就可以求得在另一个像面上的像素坐标p’。

以C为原点，光轴方向为z轴，另外两个方向为x, y轴可以得到一个坐标系，在这个坐标系下，可以对x，p，x’得到三维坐标。同理，对C’也可以得到一个三维坐标，这两个坐标之间的转换矩阵为[R T]，即通过旋转Ｒ和平移Ｔ可以将C坐标系下的点X(x1, y1, z1)， 转换成C’坐标系下的X’(x2, y2, z2)。
则有 p=Rp’+T
根据三线共面可以得出：