Accurate Multiple View 3D Reconstruction using Patch-Based Stereo for Large-Scale Scenes——论文阅读笔记

一、立体对选择

对于图像集中的每个图像，我们需要为其选择一个参考图像以进行立体计算。立体图像对的选择不仅关系到立体匹配的准确性，而且关系到最终的MVS结果。立体对选择对于车载摄像头采集的数据或受控于环境的摄像头采集的数据（Middlebury数据）来说是一项相对容易的任务，但针对无序图像就比较困难了。好的候选参考图像应具有与目标图像相似的观察方向，并且具有合适的基线，既不能太短而降低重建精度，也不能太长而导致具有较少的场景公共覆盖。

假设我们有$n$个图像，对其中的第$i$个图像，我们计算相机$i$和$j$的主视图方向之间的角度${\theta }_{ij}(j=1,\dots ,n)$。如果使用SFM算法校准相机姿态，则生成一组稀疏3D点，使用相机$i$和$j$的可见点和相机中心之间角度的平均值可以计算出更好的${\theta }_{ij}$。除了${\theta }_{ij}$，我们还计算了另一个参数$d_{ij}(j=1,\dots ,n)$，对于每个图像$i$，$d_{ij}$表示摄像机$i$和$j$的光学中心之间的距离。然后，对于满足$5˚<{\theta }_{ij}<60˚$的图像，我们计算其$d_{ij}$的中值$\bar{d}$，并移除$d_{ij}>2\bar{d}$或$d_{ij}<0.05\bar{d}$的图像。在这些计算之后，如果剩余图像的数目小于$k_1$，则将这些图像视为图像$i$的相邻图像，表示为$N(i)$。否则，剩余图像按照${\theta }_{ij}\cdot d_{ij}$按升序排序，前$k_1$张图像组成相邻图像$N(i)$（在本文中，我们设置$k_1=10$）。最后，选择$N(i)$中${\theta }_{ij}\cdot d_{ij}$最小的图像作为第$i$幅图像的参考图像，形成立体对。

二、深度图的计算

对于每个符合条件的立体对，我们按照¹中的想法计算深度贴图。其核心思想是，对输入图像中的每个像素，我们试图找到一个与参考图像具有最小聚合匹配代价的平面，如图$1$所示。支撑平面$f$本质上是场景曲面的局部切平面，在相关摄像机的坐标系中，它由一个3D点和它的法线$n_i$表示。

对于图像集中的第$i$个输入图像$I_i$，给定其参考图像为$I_j$，以及相关的相机参数 { K i ， R i ， C i } {\lbrace}K_i，R_i，C_i{\rbrace} { Ki​，Ri​，Ci​}和 { K j ， R j ， C j } {\lbrace}K_j，R_j，C_j{\rbrace} { Kj​，Rj​，Cj​}，我们首先将$I_i$中的每个像素$p$分配给一个随机三维平面，其中$K$是相机内参，$R$是旋转矩阵，$C$是相机中心。假设$p$的齐次坐标为：$$p=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$$
3D点$X_i$必须与像素$p$在同一条直线上，我们在深度范围$\lambda \in [{\lambda }_{min},{\lambda }_{max}]$中为$\lambda$选择一个随机，则$X_i$在$C_i$的坐标中计算为：$$X_i=\lambda K_i^{-1}p$$
$这个公式就是将像素坐标转化为世界坐标，转换公式为：$$$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{d_x}& 0& u_0\\ 0& \frac{1}{d_y}& v_0\\ 0& 0& 0\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right][\begin{array}{c}\end{array}$$