【Python计算机视觉编程】第五章 多视几何

一. 对极几何

1.1 概念

1. 对极几何，一定是对二幅图像而言，它是图像平面与以基线为轴的平面束的交的几何（基线是指连接摄像机中心的直线）
   以下图为例：对极几何描述的是左右两幅图像(点x和x’对应的图像)与以CC’为轴的平面束的交的几何
   
2. 直线CC’为基线，以该基线为轴存在一个平面束，该平面束与两幅图像平面相交，下图可以看到，该平面束中不同平面与两幅图像相交于不同直线
   

1.2 五点共面约束

点x、x’与摄像机中心C和C’是共面的，并且与空间点X也是空面的，这5个点共面于平面π。这是一个最本质的约束，即5个点决定了一个平面π；
由该约束，可以推导出一个重要性质：由图像点x和x’反投影的射线共面，并且，在平面π上。

1.3 对极平面束、对极平面、对极点、对极线

1. 对极平面束（epipolar pencil）：以基线为轴的平面束；
2. 对极平面（epipolar plane）：任何包含基线的平面都称为对极平面，或者说是对极平面束中的平面
   
3. 对极点（epipole）：摄像机的基线与每幅图像的交点；即上图中的点e和e’
4. 对极线（epipolar line）：对极平面与图像的交线；例如，上图中的直线l和l’

二. 基础矩阵

基础矩阵是对极几何的代数表达方式，基础矩阵描述了图像中任意对应点 x↔x’ 之间的
约束关系

2.1 基础矩阵估算方法

2.1.1 八点估算法

所以可得到方程：

即相应方程式为:

给定n组点的集合，我们有如下方程：

如果存在确定（非零）解，则系数矩阵A的秩最多是8。由于F是齐次矩阵，所以如果矩阵A的秩为8，则在差一个尺度因子的情况下解是唯一的。可以直接用线性算法解得。
如果由于点坐标存在噪声则矩阵AA的秩可能大于8（也就是等于9，由于A是n×9的矩阵）。这时候就需要求最小二乘解，这里就可以用SVD来求解，f的解就是系数矩阵A最小奇异值对应的奇异向量，也就是A奇异值分解后A=UDVT中矩阵V的最后一列矢量，这是在解矢量f在约束∥f∥下取∥Af∥最小的解。以上算法是解基本矩阵的基本方法，称为8点算法。
上述求解后的F不一定能满足秩为2的约束，因此还要在F的基础上加以约束