多视图几何(8)_对极几何和基本矩阵

对极几何和基本矩阵

对极几何是两幅视图之间内在的射影几何，它独立于场景结构，只依赖于摄像机的内参数和相对姿态。基本矩阵$F$概括了这个内在几何，它是一个秩为$2$的$3\times 3$矩阵。如果一个$3$维空间点$X$在第一、第二幅视图中的像分别为$x,x^{\prime }$，则这两个图像点满足关系$x^{\prime }Fx=0$。

对极几何

两幅视图之间的对极几何是图像平面与以基线为轴的平面束的交的几何

• 基线是连接两摄像机中心的直线
• 对极点是基线与像平面的交点。同时，对极点是在摄像机中心在另一幅视图中的像，也是基线方向的消影点
• 对极平面是一张包含基线的平面。存在着对极平面的一个单参数族（束）
• 对极线是对极平面与图像平面的交线。所有对极线相交于对极点。一张对极平面与左右像平面相交于对极线，并定义了对极线之间的对应

基本矩阵$F$

矩阵$F$的推导是通过寻找$x\to I^{\prime }$之间的映射关系得到的，即$I^{\prime }=Fx$，基本矩阵$F$将第一幅图像上的点映射到了第二幅图像中的某条直线上。

• $F$是自由度为$7$的秩$2$齐次矩阵

• 点对应：如果$x,x^{\prime }$是对应的图像点，则$x^{\prime T}Fx=0$

• 对极线

  • $I^{\prime }=Fx$是对应于$x$的对极线
  • $I=F^T{x}^{\prime }$是对应$x^{\prime }$的对极线

• 对极点：

  • $Fe=0$
  • $F^T{e}^{\prime }=0$

• 由摄像机矩阵$P$和$P^{\prime }$计算

  • 一般摄像机

    $F=[e^{\prime }{]}_{\times }{P}^{\prime }{P}^{+},e^{\prime }=P^{\prime }C,PC=0$

  • 规范摄像机

    $P=[I\mid 0],P^{\prime }=[M\mid m]$

    $F=[e^{\prime }{]}_{\times }M=M^{-T}[e{]}_{\times },e^{\prime }=m,e=M^{-1}m$

  • 非无穷远摄像机

    $P=[I\mid 0],P^{\prime }=K^{\prime }[R\mid t]$

    $F=K^{\prime -T}[t{]}_{\times }R{K}^{-1}=[K^{\prime }t{]}_{\times }{K}^{\prime }R{K}^{-1}=K^{\prime -T}R{K}^T[K{R}^{T}t{]}_{\times }=K^{\prime -T}R{K}^T[e{]}_{\times }$

• 对极线单应

  假设$I,I^{\prime }$是对应的对极线，而$k$是不过对极点$e$的任意直线，则$I,I^{\prime }$的关系为$I^{\prime }=F[k{]}_{\times }I$

由特殊运动产生的基本矩阵

• 纯平移

  设两个相机矩阵分别为$P=K[I\mid 0],P^{\prime }=K[I\mid t]$，则有$F=[e^{\prime }{]}_{\times }$。如果$x$归一化为$x=(x,y,1{)}^T$，由$x=PX=K[I\mid 0]X\to X(X,Y,Z)=Z{K}^{-1}x$，由$x^{\prime }=P^{\prime }X=K[I\mid t]X$得到
  $$x^{\prime }=x+Kt/Z$$

• 一般运动

  先将一般运动分解为绕某个轴的旋转和平移，然后将旋转转化为对图像施加一个射影变换就变成了纯平移问题

恢复摄像机矩阵

• 如果$H$是表示$3$维空间射影变换的一个$4\times 4$矩阵，那么对应于摄像机矩阵对$(P,P^{\prime })$和$(PH,P^{\prime }H)$的基本矩阵是相同的

• 令$F$为基本矩阵，摄像机矩阵对$(P,P^{\prime })$和$(\tilde{P},{\tilde{P}}^{\prime })$与$F$对应，则存在非奇异的$4\times 4$矩阵$H$使得$\tilde{P}=PH,{\tilde{P}}^{\prime }=P^{\prime }H$

• 对应于摄像机矩阵对$P=[I\mid 0]$和$P^{\prime }=[M\mid m]$的基本矩阵等于$[m{]}_{\times }M$

• 一个非零矩阵$F$是对应于一堆摄像机矩阵$P,P^{\prime }$的基本矩阵的充要条件是$P^{\prime T}FP$是反对称矩阵

• 设$F$是基本矩阵，$S$是任意反对称矩阵，定义摄像机矩阵对是$P=[I\mid 0],P^{\prime }=[SF\mid e^{\prime }]$，其中$e^{\prime }$是满足$e^{\prime T}F=0$的对极点，并假设所定义的$P^{\prime }$是有效的，则$F$是对应于$(P,P^{\prime })$的基本矩阵

• 对应于基本矩阵$F$的摄像机矩阵可以选择为$P=[I\mid 0],P^{\prime }=[[e^{\prime }{]}_{\times }F\mid e^{\prime }]$

• 对应于基本矩阵$F$，一对规范形式下的摄像机矩阵的一般形式是
  $$P=[I\mid 0],P^{\prime }=[[e^{\prime }{]}_{\times }F+e^{\prime }{v}^T\mid \lambda e^{\prime }],\lambda \ne 0$$

本质矩阵

归一化坐标

考虑分为为$P=K[R\mid t]$的摄像机，并令$x=PX$为图像中的一点。如果标定矩阵$K$已知，那么可以用它的逆矩阵作用于点$x$得到$\hat{x}=K^{-1}x$，从而$\hat{x}=[R\mid t]X$，其中$\hat{x}$是图像点在归一化坐标下的表示。他可以被视为空间点$X$在标定矩阵等于单位矩阵$I$的摄像机$[R\mid t]$下的像。摄像机矩阵$K^{-1}P=[R\mid t]$被称为归一化摄像机矩阵，已知标定矩阵的影响已经被去掉了。

考虑一对归一化的摄像机矩阵$P=[I\mid 0],P^{\prime }=[R\mid t]$。与归一化摄像机矩阵对应的基本矩阵按惯例称为本质矩阵。它具有如下形式
$$E=[t{]}_{\times }R=R[R^{T}t{]}_{\times }$$
用归一化图像坐标表示对应点$x\leftrightarrow x^{\prime }$时，本质矩阵的定义是
$${\hat{x}}^{\prime T}E\hat{x}=0$$
本质矩阵与基本矩阵的关系为
$$E=K^{\prime T}FK$$

本质矩阵的性质

本质矩阵$E=[t{]}_{\times }R$有$5$个自由度：旋转矩阵$R$和平移向量$t$各有$3$个自由度，去掉一个全局尺度因子

• 一个$3\times 3$的矩阵是本质矩阵的充要条件是它的奇异值中有两个相等而第三个是$0$

由本质矩阵恢复摄像机矩阵

设$E$的$SVD$为$U\cdot diag(1,1,0)\cdot V^T$，$E=SR$有如下两种可能得分解（忽略正负号）
$$\begin{gathered} S=UZ{U}^T \\ R=UW{V}^T\text{ or }U{W}^T{V}^T \end{gathered}$$
其中
$$W=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right],Z=\left[\begin{array}{ccc}0& 1& 0\\ -1& 0& 0\\ 0& 0& 0\end{array}\right]$$
对于给定的本质矩阵$E=U\cdot diag(1,1,0)\cdot V^T$和第一个摄像机矩阵$P=[I\mid 0]$，第二个摄像机矩阵$P^{\prime }$有如下四种选择
$$\begin{gathered} P^{\prime }=[UW{V}^T\mid u_3] \\ {P}^{\prime }=[UW{V}^T\mid -u_3] \\ {P}^{\prime }=[U{W}^T{V}^T\mid u_3] \\ {P}^{\prime }=[U{W}^T{V}^T\mid -u_3] \end{gathered}$$
四个解中只由一个点同时在两个摄像机前面