CVPR‘24开源 | 增强一切3D任务！UniPAD：自动驾驶的通用预训练范式

0. 这篇文章干了啥？

自监督学习能够高效利用大量未标记数据，对于3D点云数据具有重要意义。由于数据的固有稀疏性和传感器放置以及其他场景元素的遮挡而导致的点分布的可变性，直接将2D方法扩展到3D非常困难。

因此，这篇文章提出了一种针对有效3D表示学习的新型预训练范式，不仅避免了复杂的正/负样本分配，而且隐含地提供连续的监督信号来学习3D形状结构。

下面一起来阅读一下这项工作~

1. 论文信息

标题：UniPAD: A Universal Pre-training Paradigm for Autonomous Driving

作者：Honghui Yang, Sha Zhang, Di Huang, Xiaoyang Wu, Haoyi Zhu, Tong He, Shixiang Tang, Hengshuang Zhao, Qibo Qiu, Binbin Lin, Xiaofei He, Wanli Ouyang

机构：上海AI Lab、浙江大学、香港大学、中国科学技术大学、悉尼大学、之江实验室

原文链接：https://arxiv.org/abs/2310.08370

代码链接：https://github.com/Nightmare-n/UniPAD

2. 摘要

在自动驾驶的背景下，有效特征学习的重要性被广泛认可。虽然传统的3D自监督预训练方法已经取得了广泛成功，但大多数方法都遵循了最初设计用于2D图像的思想。在本文中，我们提出了UniPAD，一种新颖的自监督学习范式，应用了3D体积可微渲染。UniPAD隐含地编码3D空间，有助于重建连续的3D形状结构和它们的2D投影的复杂外观特征。我们方法的灵活性使其能够无缝集成到2D和3D框架中，从而更全面地理解场景。我们通过在各种下游3D任务上进