Instant 3D Photography

Instant 3D Photography

       我们提出了一种从对齐的颜色和深度图像对序列中构建3D全景图的算法。可以使用双镜头手机摄像头方便地捕捉此类序列，该双镜头手机摄像头可以从同步立体声图像捕捉中重建深度图。由于基线较小，并且产生了三角剖分误差，因此深度图会大大降低并包含低频误差，这会阻止使用简单的全局变换进行对齐。我们提出了一种新颖的优化方法，该方法可以共同估算相机的姿势以及空间变化的调整图，这些调整图用于使深度图变形并使它们处于良好的对齐状态。当将对齐的图像融合到无缝拼接中时，我们利用精心设计的数据项和高质量的深度对齐功能来实现两个数量级的加速w.r.t.通过消除对标签平滑度优化的需求，依靠离散优化的先前解决方案。我们的算法每秒处理大约一幅输入图像，因此对于中型全景图，端到端的运行时间约为一分钟。最终的3D全景图非常详细，可以用V中的双目和头部运动视差查看。
       在本文中，我们提出了一种新算法，该算法可以根据小型基线立体声双摄像头手机（例如最近的iPhone）生成的彩色和深度照片序列来构建3D全景图。我们通过自定义的连拍捕获应用程序来执行这些序列，同时随意移动手机半臂距离。深度重建基本上是免费的，因为它已集成到本地电话OS API中并进行了高度优化。使用双摄像头的深度图使我们的算法对场景运动具有一定的鲁棒性，因为即使对动态对象进行同步立体声捕获也可以重建深度，尽管将它们缝合可能仍会导致可见的接缝
       我们的方法速度快，大约每秒捕获一次，每秒处理大约一个输入图像。我们强调这一点的重要性，因为我们发现随着我们的系统变得越来越快，它在捕获机会方面表现出了我们自己的行为：我们突然能够在旅途中自发捕获，甚至在场景中“迭代”尝试不同的场景视角。
       我们算法的输出是一个详细的3D全景图，即可以使用标准图形引擎渲染的带纹理的多层3D网格。我们的3D全景图可以在VR中使用双目和头部运动视差进行查看，也可以在普通的移动设备和网络显示器上使用视差查看器进行查看。我们还可以使用3D表示法生成有趣的几何效果。
       拼接后，我们通过将3D全景图转换为网格，在强深度边缘将其撕裂，将后层扩展到被遮挡的区域，同时产生新的颜色和深度，将其转换为多层表示。从默认视点以外的地方查看全景图时，此新内容会以遮挡显示。

算法整体框架

1.Capture and Preprocessing

       算法的输入是一系列对齐的颜色和深度图像对，本文使用自定义突发捕获应用程序从双镜头照相手机上的单个有利位置捕获它们。

特征提取和匹配：作为以下对齐算法的输入，我们使用标准方法计算成对特征匹配。我们在图像中检测到Shi-Tomasi角特征，并调整为至少相距图像对角线的1％。然后，我们计算DAISY描述符。我们使用IMU方向估计来选择重叠的图像对，然后使用FLANN库计算匹配项，并注意通过比率测试（阈值= 0.85）和简单的几何过滤来丢弃离群值，从而丢弃匹配项，偏移矢量与中值偏移矢量的偏差太大（超过图像对角线的2％）。所有这些功能都是使用OpenCV实现的。

2.Deformable Depth Alignment

       由于较小的相机基准线和由此产生的三角测量不确定性，因此输入深度图不是很准确，并且无法使用全局变换很好地对齐它们。作者通过使用一种新颖的优化方法解决了这个问题，该方法可以联合估算相机的姿势以及空间变化的调整图，这些调整图用于使深度图变形并使它们处于良好的对齐状态。

我们的首要目标是对齐深度图。由于图像是从不同的角度拍摄的，因此由于视差，我们无法在2D图像空间中进行处理。我们需要恢复外部相机的姿势（方向和位置），以便当我们投影深度图时，它们在3D模式下对齐。

3.Stitching

       接下来，作者将对齐的色彩和深度照片拼接成panoramic mosaic。通常将此公式化为标注问题，并使用离散优化方法解决。然而，即使当问题缩小时，例如使用MRF求解器来优化标签平滑度也非常慢。文中作者利用精心设计的数据项和深度对齐的高质量，以深度引导的边缘感知方式过滤数据项后，通过独立优化每个像素来替代标签平滑度优化。这样可以获得视觉上相似的结果，并且加速幅度超过一个数量级。

4.Multi-layer Mesh Generation

       在最后一个阶段，将全景图转换为可以使用标准图形引擎在任何设备上渲染的多层纹理网格。通过在深的深度边缘撕开网格，并将背面扩展到封闭区域，从而在封闭区域产生新的颜色和深度值。最终，简化网格并计算纹理图集。