Multiple View Geometry(多视图几何)学习笔记（26）— 对极几何和基本矩阵

              对极几何和基本矩阵

1.对极几何
  本质上，两幅视图之间的对极几何是图像平面与以基线(基线是连接两摄像机中心的直线)为轴的平面束的交的几何。

• 对极点是连接两摄像机中心的直线(基线)与像平面的交点。等价地，对极点是在一幅视图中另一个摄像机中心的像。它也是基线(平移)方向的消影点。
• 对极平面是一张包含基线的平面。存在着对极平面的一个单参数簇(束)。
• 对极线是对极平面与图像平面的交线。所有对极线相交于对极点。一张对极平面与左或右像平面相交于对极线，并定义了对极线之间的对应。
• 平行于图像平面的运动。对于平行于图像平面作平移以及旋转轴垂直图像平面的特殊运动情形，基线与图像平面的交点位于无穷远。因此，对极点是无穷远点而对极线是平行线。

2.基本矩阵$F$
结论1：  基本矩阵$F$可以记为$F=[e^{\prime }{]}_{\times }{H}_{\pi }$， 其中$H_{\pi }=P^{\prime }{P}^{+}$是从一幅图像到另一幅图像通过任意平面$\pi$的转移映射。 而且， 因为$[e^{\prime }{]}_{\times }$秩为2 和$H_{\pi }$秩为3 ，所以$F$是秩2 的矩阵。

    假设摄像机矩阵是一个巳标定的双眼装置且世界原点在第一个摄像机上:
$$F=[e^{\prime }{]}_{\times }{K}^{\prime }R{K}^{-1}=K^{\prime -T}[t{]}_{\times }R{K}^{-1}=K^{\prime -T}R[R^{T}t{]}_{\times }{K}^{-1}=K^{\prime -T}R{K}^T[e{]}_{\times }$$

2.1对应条件

结论2： 对两幅图像中任何一对对应点$x\leftrightarrow x^{\prime }$，基本矩阵都满足条件：
$$x^{\prime T}Fx=0$$

   $F$可以从两个摄像机矩阵$P$、$P^{\prime }$计算出来，即$F$可在相差一个整体尺度因子的意义下由摄像机唯一确定。

2.2基本矩阵的性质
定义1： 假设两幅图像由中心不重合的摄像机获得，则基本矩阵$F$为对所有的对应点$x\leftrightarrow x^{\prime }$， 都满足:
$$x^{\prime T}Fx=0$$

的秩2的唯一的$3\times 3$齐次矩阵。

• $F$是秩2 、自由度7的齐次矩阵。
• 点对应: 如果$x$和$x^{\prime }$’是对应的图像点，那么$x^{\prime T}Fx=0$
• 对极线:
• $l^{\prime }=Fx$是对应于$x$的对极线。
• $l=F^T{x}^{\prime }$是对应于$x^{\prime }$的对极线。
• 对极点:
• $Fe=0$
• $F^T{e}^{\prime }=0$
• 由摄像机矩阵$P$ 、$P^{\prime }$进行计算:
• 一般摄像机：$F=[e^{\prime }{]}_{\times }{P}^{\prime }{P}^{+}$,其中$P^{+}$是$P$的伪逆，$e^{\prime }=P^{\prime }C且PC=0$
• 规范摄像机：$P=[I|0]$，$P^{\prime }=[M|m]$
        $F=[e^{\prime }{]}_{\times }M=M^{-T}[e{]}_{\times }$，其中$e^{\prime }=m$且$e=M^{-1}m$
• 非无穷远摄像机：$P=K[I|0]$，$P^{\prime }=K^{\prime }[R|t]$
        $F=K^{\prime -T}[t{]}_{\times }R{K}^{-1}=[K^{\prime }t{]}_{\times }{K}^{\prime }R{K}^{-1}=K^{\prime -T}R{K}^T[K{R}^{T}t{]}_{\times }$
• 转置:如果$F$是摄像机对作$(P，P^{\prime })$的基本矩阵，则$F^T$是其反序对$(P^{\prime },P)$的基本矩阵。

2.3对极线单应
结论3： 假设$l$和$l^{\prime }$是对应的对极线，且$k$是不过对极点$e$的任何直线， 则$l$和$l^{\prime }$间的关系是$l^{\prime }=F[k{]}_{\times }l$，对称地有$l=F^T[k^{\prime }{]}_{\times }{l}^{\prime }$。

3.由特殊运动产生的基本矩阵

3.1纯平移
   假设摄像机的运动是没有旋转并且内参数不变的纯平移，可以假设两个摄像机矩阵分别是$P=K[I|0]$和$P^{\prime }=K[I|t]$，则：
$$F=[e^{\prime }{]}_{\times }K{K}^{-1}=[e^{\prime }{]}_{\times }$$

   从像点$x$到像点$x^{\prime }$的映射是:
$$x^{\prime }=x+Kt/Z$$

   其中$Z$是点$\mathbf{X}$的深度(在第一个摄像机的主轴上测量从$\mathbf{X}$到摄像机中心的距离)。

• 注意在纯平移情形， $F=[e^{\prime }{]}_{\times }$是反对称的而且只有2个自由度，它们对应于对极点的位置。
• $x$，$x^{\prime }$与$e=e^{\prime }$是共线的(假设把两幅图像叠起来) 。这种共线性质称为自对极，并且对于一般运动不成立。

3.2一般运动
   给定两个任意摄像机，我们可以把第一幅图像的摄像机旋转使它与第二个摄像机平行。该旋转可以通过对第一幅图像施加一个射影变换来仿真。针对两幅图像的标定矩阵的差别还可对第一幅图像施加进一步的矫正。这两次矫正的结果等价于对第一幅图像作射影变换$H$。假设这些矫正已经完成，那么这两个摄像机之间的有效关系是一个纯平移。

   假设两个摄像机矩阵分别是$P=K[I|0]$和$P^{\prime }=K^{\prime }[R|t]$，需要的射影变换是$H=K^{\prime }R{K}^{-1}=H_{\infty }$，其中$H_{\infty }$是无穷单应,且$F=[e^{\prime }{]}_{\times }{H}_{\infty }$，则图像点$x$到图像点$x^{\prime }$的映射是：
$$x^{\prime }=K^{\prime }R{K}^{-1}x+K^{\prime }t/Z$$

3.3纯平面运动

   在纯平面运动时旋转轴与平移方向正交。正交性给这种运动增加了一个约束，如果$K^{\prime }=K$，则$F$ 的对称部分在这种平面运动情形时的秩为2。使它的自由度个数从一般运动的7个减少到纯平面运动的6 个。

4.基本矩阵的几何表示
   基本矩阵的对称和反对称部分分别是
$$F_s=(F+F^T)/2F_a=(F-F^T)/2$$

   满足:$F=F_s+F_a$

4.1对称部分
   矩阵$F_s$是对称的并且一般地秩为3 ，它有5 个自由度并等同于一条点二次曲线，称为Steiner 二次曲线。
4.2反对称部分
   矩阵$F_a$是反对称的并可以记为$F_a=[x_a{]}_{\times }$，其中$x_a$是$F_a$的零矢量。反对称部分有2 个自由度且得同于点$x_a$。
4.3对极线对应
   由一个单应关联的两个直线束，它们对应直线的交点的轨迹是一条二次曲线。这两个束都是对极线束， 一个过$e$而另一个过$e^{\prime }$。这些对极线由一个1D单应相关联。其交点的轨迹是二次曲线$F_s$
4.4纯平面运动
   平面运动情形，其中$F_s$的秩为2。此时，Steiner 二次曲线是退化的，它等价于两条不重合直线。
$$F_s=l_h{l}_s^T+l_s{l}_h^T$$

   $F$可以记为:
$$F=[e^{\prime }{]}_{\times }[l_s{]}_{\times }[e{]}_{\times }$$

   两个对极点的分别有2 个自由度和直线$l_s$有2 个自由度。

5.恢复摄像机矩阵
5.1射影不变性和规范摄像机
结论4： 如果$H$是表示3维射影变换的一个4 X 4 矩阵，那么对应于摄像机矩阵$(P,P^{\prime })$和$(PH，P^{\prime }H)$的基本矩阵是相同的。

5.2摄像机矩阵的规范形式
结论5： 对应于摄像机矩阵对$P=[I|0]$和$P^{\prime }=[M|m]$的基本矩阵等于$[m{]}_{\times }M$。
5.3给定$F$后的摄像机射影多义性
定理1： 令$F$为基本矩阵而$(P,P^{\prime })$和$(\tilde{P},{\tilde{P}}^{\prime })$都是与基本矩阵$F$对应的两组摄像机矩阵对，则存在一个非奇异的4 X 4矩阵$H$使得$\tilde{P}=PH$和${\tilde{P}}^{\prime }=P^{\prime }H$。
引理1：  若秩2的矩阵$F$可以分解为两个不同的形式:$F=[a{]}_{\times }A$和$F=[\tilde{a}{]}_{\times }\tilde{A}$则对某非零常数$k$和3维矢量$v$有$\tilde{a}=ka$和$\tilde{A}=k^{-1}(A+a{v}^T)$。
5.4给定$F$求规范摄像机对
结论6： 一个非零矩阵$F$是对应于一对摄像机矩阵$P$和$P^{\prime }$的基本矩阵的充要条件是$P^{\prime T}FP$是反对称矩阵。
结论7： 令$F$是基本矩阵，$S$是任意反对称矩阵。 定义摄像机矩阵对为：
$$P=[I|0]和P^{\prime }=[SF|e^{\prime }]$$
   其中$e^{\prime }$是满足$e^{\prime T}F=0$的对极点，并假定所定义的$P^{\prime }$是有效的摄像机矩阵(秩为3) ，则$F$是对应子$(P,P^{\prime })$的基本矩阵。

结论8： 基本矩阵$F$的摄像机矩阵可以选择为$P=[I|0]$和$P^{\prime }=[[e^{\prime }{]}_{\times }F|e^{\prime }]$

结论9： 对应于基本矩阵$F$，一对规范形式的摄像机矩阵的一般公式是：
$$P=[I|0]P^{\prime }=[[e^{\prime }{]}_{\times }F+e^{\prime }{v}^T|\lambda e^{\prime }]$$

   其中$v$是任何3维矢量，$\lambda$是一个正标量。

6.本质矩阵
   本质矩阵是归一化图像坐标下的基本矩阵的特殊形式。基本矩阵可以看作是本质矩阵的推广，基本矩阵把要求标定摄像机这样一个(非本质的)假设去掉了。与基本矩阵相比较，本质矩阵有较少的自由度但增加了一些性质。
归一化坐标

• 如果知道标定矩阵$K$，用它的逆矩阵作用于点$x$得到点$\hat{x}=K^{-1}x$。则$\hat{x}=[R|t]X$，其中$\hat{x}$是图像上的点在归一化坐标下的表示。
• 摄像机矩阵$K^{-1}P=[R|t]$称为归一化摄像机矩阵。
  定理2： 用归一化图像坐标表示对应点$x\leftrightarrow x^{\prime }$时，本质矩阵的定义方程是：
  $${\hat{x}}^{\prime T}E\hat{x}=0$$

   基本矩阵和本质矩阵之间的关系是:
$$E=K^{\prime T}FK$$
6.1本质矩阵的性质
结论10： 一个3X3矩阵是本质矩阵的充要条件是它的奇异值中有两个相等而第三个是0。
6.2由本质矩阵恢复摄像机矩阵
结论11： 着$E$的SVD分解为$Udiag(1，1，0)V^T$，$E=SR$有如下两种可能的分解 :
$$S=UZ{U}^{T}R=UW{V}^T或者U{W}^T{V}^T$$

结论12： 己知本质矩阵$Udiag(1，1，0)V^T$和第一个摄像机矩阵$P=[I|0]$， 那么第二个摄像机矩阵$P^{\prime }$有下列四种可能的选择:
$$P^{\prime }=[UW{V}^T|u_3];[UW{V}^T|-u_3];[U{W}^T{V}^T|u_3];[U{W}^T{V}^T|-u_3];$$