多视图立体匹配论文分享 | Fast-MVSNet (CVPR2020)

论文题目：Fast-MVSNet: Sparse-to-Dense Multi-View Stereo with Learned Propagation and Gauss-Newton Refinement

代码地址：在公众号「3D视觉工坊」，后台回复「Fast-MVSNet」，即可直接下载。

摘要：

以往基于深度学习的多视图立体匹配 (MVS) 方法几乎都是为了提高重建质量。除了重建质量，效率也是现实场景中重建的一个重要特征。为此，本文提出Fast-MVSNet，一种新的由稀疏到稠密、由粗糙到精细的框架，用于快速和准确的多视图深度估计。具体而言，在Fast-MVSNet中，我们首先构造一个稀疏的代价体来学习一个稀疏但高分辨率的深度图。然后我们利用小型卷积神经网络对局部区域内像素的深度依赖进行编码，以稠密化稀疏但高分辨率的深度图。最后提出简单且有效的高斯-牛顿层来进一步优化深度图。一方面，高分辨率的深度图、数据驱动的自适应传播方法和高斯-牛顿层保证了算法的有效性。另一方面，Fast-MVSNet中所有模块都是轻量级的，因此保证了算法的高效性。此外由于稀疏深度图的表示，我们方法也是memory-friendly的。实验结果表明Fast-MVSNet比Point-MVSNet快5倍，比R-MVSNet快14倍，同时在Tanks and Temples的DTU上取得了可比较甚至更好的结果。