2024CVPR-12-预训练-Point Cloud Pre-training with Diffusion Models

文章摘要：预训练模型，然后在下游任务上微调它已被证明在 2d 图像和 nlp 领域取得了显着的成功。然而，由于点云的无序和非均匀密度特性，探索点云的先验知识并预训练点云主干并非易事。在本文中，我们提出了一种新的预训练方法，称为点云扩散预训练（pointdif）。我们将点云预训练任务视为条件点到点生成问题，并引入条件点生成器。该生成器聚合主干提取的特征，并将其作为条件来指导从噪声点云中恢复点对点，从而帮助主干捕获局部和全局几何先验以及对象的全局点密度分布。我们还提出了一种循环均匀采样优化策略，使模型能够从各种噪声水平中均匀恢复并从平衡监督中学习。对于分类、分割和检测等各种下游任务，我们的 pointdif 在各种真实世界数据集上都取得了实质性的改进。具体来说，pointdif 在分割任务的 s3dis 区域 5 上达到 70.0% miou，与抽头相比，在分类任务的 scanobjectnn 上平均提高了 2.4%。此外，我们的预训练框架可以灵活地应用于各种点云主干，并带来可观的收益。

结论：总之，我们提出了一种基于扩散模型的点云预训练的新框架，称为 pointdif。它使主干能够通过条件扩散模型的渐进引导特征来学习分层几何先验。具体来说，我们提出了一个条件点生成器，以帮助网络通过点对点引导生成来学习对象的点密度分布。我们还在时间步长上引入了一种循环均匀