【论文阅读】[CVPR 2017]3DMatch： Learning Local Geometric Descriptors from RGB-D Reconstructions. [code]

[CVPR] 3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions. [code] [dat. pos. reg. rec. oth.] 🔥 ⭐

Abstract

由于三维扫描数据的噪声、低分辨率和不完整性，在真实深度图像上匹配局部几何特征是一项具有挑战性的任务。这些困难限制了当前最先进方法的性能，这些方法通常基于几何特性上的直方图。在本文中，我们提出了3DMatch，一种数据驱动模型，它学习局部体积面片描述符，以建立部分3D数据之间的对应关系。为了为我们的模型收集训练数据，我们提出了一种自监督特征学习方法，该方法利用现有RGB-D重建中发现的数百万个对应标签。实验表明，我们的描述符不仅能够匹配新场景中的局部几何体进行重建，而且可以推广到不同的任务和空间尺度（例如，Amazon拾取挑战的实例级对象模型对齐，以及网格曲面对应）。结果表明，3DMatch始终以显著的优势优于其他最先进的方法。代码、数据、基准和预先培训的模型可在线访问http://3dmatch.cs.princeton.edu

6. Conclusion

在这项工作中，我们介绍了3DMatch，一种基于3D ConvNet的局部几何描述符，可用于匹配各种应用中的部分3D数据。我们证明，通过利用从RGB-D重建中自动获得的大量对应密度，我们可以训练出一个强大的描述符，其性能大大优于现有的几何描述符。我们提供所有代码和预先培训的模型，以便于使用和集成。为了鼓励进一步的研究，我们还提供了一个对应匹配基准和一个曲面配准基准，这两个基准都使用真实的3D数据。

图和表