论文名称:Self-Supervised Pretraining of 3D Features on any Point-Cloud
论文链接:
https://www.aminer.cn/pub/5ff8396091e0116ed225e37c?f=cs
自监督学习一直是研究界和FAIR的主要兴趣领域, DepthContrast也是业界在不使用标记数据的情况下学习强大3D表示的最新尝试。这项研究继承自FAIR 之前的工作PointContrast,也是3D的一种自我监督技术。 现在获得3D数据的机会很多。传感器和多视图立体算法通常为视频或图像提供补充信息。然而,理解这些数据以前一直是一个挑战,因为3D数据具有不同的物理特性,这取决于它的获取方式和位置。 例如,与来自室外传感器(如 LiDAR)的数据相比,来自商用手机传感器的深度数据看起来非常不同。AI研究中使用的大多数3D数据都是以单视图深度图的形式获取的,这些数据通过为3D registration的步骤进行后处理以获得多视图3D。先前的工作依赖于多视图3D数据来学习自监督特征,训练目标主要考虑3D点对应关系。 虽然将单视图数据转换为多视图数据的失败率很高,但DepthContrast表明仅使用单视图3D数据就足以学习最先进的3D特征。 使用3D数据增强可以从单视图深度图生成略有不同的3D深度图。DepthContrast通过使用对比学习来对齐从这些增强深度图获得的特征来实现这一点。 并且研究结果表明该学习信号可用于预训练不同类型的3D架构,例如PointNet++和Sparse ConvNets。 更重要的是,DepthContrast可以应用于任何类型的3D数据,无论是在室内还是室外,单视图还是多视图。我们的研究表明,使用DepthContrast预训练的模型在ScanNet 3D检测基准上绝对是最先进的。
AMiner,让AI帮你理解科学!https://www.aminer.cn