旷视科技&电子科大&港中文&港科技联合开源，首个探索室内3D点云配准真实数据生成的方法

 更多优质内容，请关注公众号：智驾机器人技术前线

1.论文信息

• 标题：PointRegGPT: Boosting 3D Point Cloud Registration using Generative Point-Cloud Pairs for Training

• 作者：Suyi Chen, Hao Xu, Haipeng Li, Kunming Luo, Guanghui Liu, Chi-Wing Fu, Ping Tan, and Shuaicheng Liu⋆

• 作者单位：旷视科技，电子科技大学，香港中文大学，香港科技大学

• 论文链接：https://arxiv.org/abs/2407.14054

• 项目地址：https://github.com/Chen-Suyi/PointRegGPT

2.摘要

数据在训练基于学习的3D点云配准方法中起着至关重要的作用。然而，真实世界的数据集构建成本高昂，而基于渲染的合成数据则存在领域差距。在这项工作中，我们提出了PointRegGPT，使用生成的点云对进行训练以增强3D点云配准。给定单个深度图，我们首先应用随机相机运动将其重投影到目标深度图。将它们转换为点云就得到了一个训练对。为了增强数据的真实性，我们将一个生成模型制定为深度修复扩散过程，以处理目标深度图，以重投影的源深度图作为条件。此外，我们还设计了一个深度校正模块，以减轻在重投影期间由点穿透引起的伪影。据我们所知，这是第一次探索室内3D点云配准的真实数据生成的生成方法。当我们的方法配备时，几种最近的算法可以显著提高它们的性能，并在两个常见的基准测试上持续实现最先进的水平。

3.主要贡献

• 提出了一个新的框架，它可以从现实世界场景中捕获的深度图中自动生成3D点云配准的真实训练数据；

• 设计了一个基于扩散的流程，包括深度生成和深度校正模块，有效地产生用于训练的生成点云对；

• 在多个配准基准上的广泛的定性和定量实验展示了我们方法的最先进性能。值得注意的是，我们利用生成的数据集来训练不同的配准网络，并观察到一致的显著性能提升。

4.核心思想与方法

PointRegGPT框架包括：（i）给定的深度图通过重投影、深度校正和深度生成处理，产生一个新的深度图，然后将其转换为一对部分重叠的点云；（ii）深度生成利用预训练的扩散模型生成新内容，同时保持重叠区域的几何一致性；（iii）深度校正用于校正在重投影期间由穿透点生成的不自然深度值，深度增强模块增强了检测错误值的能力；（iv）生成的数据集用于训练配准模型。

image

5.实验仿真验证

image

6.总结

我们介绍了PointRegGPT，这是一个新颖的3D点云配准框架，它通过生成数据提升模型性能。在PointRegGPT中，一个真实的深度图通过随机变换进行重投影，并使用预训练的扩散模型进行填充，以生成部分重叠的点云对。范围-空域分解和我们训练有素的扩散模型确保了重叠区域的3D一致性和新内容的真实性。这是第一种使用扩散模型自动生成真实3D点云配准训练数据的方法。此外，我们的深度校正模块解决了点穿透问题，避免了伪影并确保了高质量的数据生成。实验结果证实了PointRegGPT在室内外基准测试中的最新性能和鲁棒性。

知识星球近期部分文章

1. 一种基于等变Transformer提高点云配准鲁棒性的新框架

2. 超越传统最大团约束：基于最大团的三维点云配准方法及重叠感知优化

3. 首次探索室内3D点云配准的真实数据生成的生成式方法

4. 利用语义和几何信息进行异常值剔除，以实现鲁棒的点云配准

5. 增量多视图点云配准

6. 最强性能的点云配准算法，将Transformer融入点云配准

7. 一种具有主动相机姿态检索功能的无需匹配的图像到点云配准模型

8. 学习用于迭代图像到点云配准的跨模态Agent

9. 利用启发式引导的参数搜索实现高效稳健的点云配准

本文仅做学术分享，如有侵权，请联系删文！

更多优质内容，请关注公众号：智驾机器人技术前线