计算机视觉：多视几何——基础矩阵原理

一、基础矩阵原理介绍

1、对极几何

本质上两幅图之间的对极几何是图像平面与以基线为轴的平面束的交的几何，这种几何被广泛同于双目成像原理中
如图所示，摄像机由相机中心C,C’以及各自的成像平面表示，对于任意一个空间中的点X,在两个像平面上的点分别为x,x’，第一幅图像上的点x反向投影成空间三维的一条射线，它由摄像机中心和x确定，这条射线向第二个图像平面上投影得到一条直线l’，显然x的投影x’必然在l’上

如图所示，我们把相机中心的连线叫做基线(baseline),基线与两幅图像平面交于对极点e和e’，任何一条包含基线的平面pi是一张对极平面，分别与图像平面相交于l和l’，实际上，当三维位置X变化时，对应的实际上是该对极平面绕基线”旋转”，这个旋转得到的平面簇叫做对极平面束，由所有对极平面和成像平面相交得到的对极限相交于对极点
  （1）对极几何的几个相关概念
对极平面束（epipolar pencil）：以基线为轴的平面束；下图给出了包含两个平面的对极平面束

对极平面（epipolar plane）：任何包含基线的平面都称为对极平面，或者说是对极平面束中的平面；例如，下图中的平面ππ就是一个对极平面

对极点（epipole）：摄像机的基线与每幅图像的交点；即上图中的点e和e’

对极线（epipolar line）：对极平面与图像的交线；例如，上图中的直线l和l’

---

2、基础矩阵

基础矩阵是对极几何的代数表达方式
本质矩阵描述了空间中的点在两个图像的投影的对应关系
（图像中任意对应点 x↔x’ 之间的约束关系）

F 为 3x3 矩阵，秩为2，对任意匹配点对 x↔x’ 均满足

基础矩阵F表示的就是这种从点到直线的映射。

（1）F的代数推导

设以第一个相机作为坐标系三维空间的点P=[X,Y,Z]，其在两个相机的像点分别为p1,p2。由于第一个相机的中心作为世界坐标系的原点，也就是说第一个相机没有旋转和平移，通过小孔相机模型可得：
p1=KP，p2=K(RP+t)

其中,K是相机的内参，R,t是第二个相机相对于第一个相机的旋转和平移。
从p1=KP可以得到P=K−1p1，带入第二个式子可得到：
p2=K(RK−1p1+t)

两边同时左乘K−1，得到
K−1p2=RK−1p1+t