多视图几何(9)_摄像机和结构的3D重构

摄像机和结构的3D重构

重构的多义性

若没有场景在某个$3D$坐标系下的位置信息，一般不可能从一对视图中重构该场景的绝对位置和朝向，甚至不知道场景整体的尺度。仅有图像来确定场景要相差一个相似变换$H_S$
$$H_S=\left[\begin{array}{cc}R& t\\ 0^T& \lambda \end{array}\right]$$
以$H_S{X}_i$代替$X_i$，分别以$P{H}_S^{-1},P^{\prime }{H}_S^{-1}$代替摄像机$P,P^{\prime }$不会改变被观察的图像点，本质是不会影响标定矩阵$K$

射影重构定理

设$x_i\leftrightarrow x_i^{\prime }$是两幅图像之间的一组点对应，而基本矩阵$F$由条件$x_i^{\prime }F{x}_i=0$唯一定却。令 ( P 1 , P 1 ′ , { X 1 i } ) , ( P 2 , P 2 ′ , { X 2 i } ) (P_1,P_1^\prime,\{X_{1i}\}),(P_2,P_2^\prime,\{X_{2i}\}) (P1​,P1′​,{X1i​}),(P2​,P2′​,{X2i​})分别为对应$x_i\leftrightarrow x_i^{\prime }$的两个重构，则存在一个非奇异矩阵$H$使得$P_2=P_1{H}^{-1},P_2^{\prime }=P_1\prime H^{-1},X_{2i}=H{X}_{1i}$

重构算法

目标

给定两幅未标定的图像，计算摄像机和场景结构的一个度量重构 ( P M , P M ′ , { X M i } ) (P_M,P_M^\prime, \{X_{Mi}\}) (PM​,PM′​,{XMi​})，即与真实摄像机和场景结构仅相差一个相似变换的重构

算法

1. 计算一个摄影重构 ( P , P ′ , { X i } ) (P,P^\prime,\{X_i\}) (P,P′,{Xi​})

   • 计算基本矩阵：由两幅图像之间的点对应$x_i\leftrightarrow x_i^{\prime }$
   • 摄像机恢复：由基本矩阵计算摄像机矩阵$P,P^{\prime }$
   • 三角测量：对每组点对应$x_i\leftrightarrow x_i^{\prime }$计算投影到这两个图像点的空间点$X_i$

2. 把射影重构矫正到度量重构

   • 利用直接方法：由已知其欧氏位置的$5$个或更多的地面控制点$X_{Ei}$来计算满足$X_{Ei}=H{X}_i$的单应$H$，则度量重构是
     $$P_M=P{H}^{-1},P_M^{\prime }=P^{\prime }{H}^{-1},X_{Mi}=H{X}_i$$

   • 或用分层方法

     • 仿射重构：计算无穷远平面${\pi }_{\infty }$【TODO 补充计算方法，10.4】，然后用单应$H$把射影重构提升到仿射重构
       $$H=\left[\begin{array}{c}I\mid 0\\ {\pi }_{\infty }^T\end{array}\right]$$

     • 度量重构：计算绝对二次曲线的像$\omega$【TODO 补充计算方法】，然后用单应$H$把仿射重构提升到度量重构，其中$A{A}^T=(M^T\omega M{)}^{-1}$做$Cholesky$分解得到，$M$是仿射重构中摄像机矩阵左上角$3\times 3$矩阵
       $$H=\left[\begin{array}{cc}{A}^{-1}& \\ & 1\end{array}\right]$$