【论文速递】CVPR2019 - 用于高分辨率多视图立体深度推理的递归 MVSNet

【论文速递】CVPR2019 - 用于高分辨率多视图立体深度推理的递归 MVSNet

【论文原文】：Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference

【作者信息】：Yao Yao, Zixin Luo, Shiwei Li, Tianwei Shen, Tian Fang, Long Quan

获取地址：https://arxiv.org/pdf/1902.10556.pdf
代码地址：https://github.com/YoYo000/MVSNet 

博主关键词： 多视图立体几何，深度估计

摘要：

深度学习最近展示了其在多视图立体 (MVS) 方面的出色性能。 然而，当前学习的 MVS 方法的一个主要限制是可扩展性：消耗内存的成本体积正则化使得学习的 MVS 难以应用于高分辨率场景。 在本文中，我们介绍了一种基于递归神经网络的可扩展多视图立体框架。 所提出的循环多视图立体网络 (R-MVSNet) 不是一次性对整个 3D 成本量进行正则化，而是通过门控循环单元 (GRU) 沿深度方向顺序对 2D 成本图进行正则化。 这大大减少了内存消耗，并使高分辨率重建成为可能。 我们首先展示了所提出的 R-MVSNet 在最近的 MVS 基准测试中实现的最先进性能。
然后，我们进一步证明了所提出方法在几个大规模场景中的可扩展性，在这些场景中，以前学习的方法经常由于内存限制而失败。

简介：

多视图立体 (MVS) 旨在恢复给定多视图图像和校准相机的场景的密集表示。 虽然传统方法在 MVS 基准测试中取得了出色的性能，但最近的工作表明，学习方法能够产生与传统的最新技术相当的结果。特别是，MVSNet提出了一种深度图估计的深度架构，显着提高了重建的完整性和整体质量。 基于学习的 MVS 的主要优势之一是成本量正则化，其中大多数网络应用多尺度 3D CNN来规范 3D 成本量。 然而，这一步非常耗费内存：它在 3D 体积上运行，内存需求随模型分辨率呈立方增长（图 1（d））。 因此，当前学习的 MVS 算法很难扩展到高分辨率场景。

最近的深度学习 3D 研究也承认了这个问题。 OctNet和 O-CNN利用 3D 数据的稀疏性并将八叉树结构引入 3D CNN。SurfaceNet和 DeepMVS 将工程化的分而治之策略应用于 MVS 重建。 MVSNet 在参考相机平截头体上构建成本量，以将重建解耦为每个视图深度图估计的较小问题。 然而，当涉及高分辨率 3D 重建时（例如，体积大小 > 5123 体素），这些方法要么失败，要么需要很长时间进行处理。

为此，我们提出了一种基于递归神经网络的新型可扩展多视图立体框架，称为 R-MVSNet。 拟议的网络建立在 MVSNet 架构 [30] 之上，但使用卷积门控循环单元 (GRU) 而不是 3D CNN 以顺序方式对成本量进行正则化。 通过顺序处理，算法的在线内存需求从三次方减少到二次方到模型分辨率（图 1（c））。 因此，R-MVSNet 适用于具有无限深度分辨率的高分辨率 3D 重建。
我们首先在 DTU、Tanks and Temples 和 ETH3D 数据集上评估 R-MVSNet，我们的方法产生的结果可与甚至优于最先进的 MVSNet。 接下来，我们通过对内存消耗的详细分析来证明所提出方法在几个大规模场景中的可扩展性。R-MVSNet 在 GPU 内存中比其他方法更有效，并且是第一个适用于如此宽深度范围场景的基于学习的方法，例如 Tanks and Temples 数据集的高级集。

【论文速递 | 精选】

论坛地址：https://bbs.csdn.net/forums/paper