CLIP在三维分割场景的突破！ CLIP2Scene：对三维场景的新理解与应用

作者：PCIPG-KJ  | 来源：3D视觉工坊

在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf和代码链接。

添加微信：dddvisiona，备注：SLAM，拉你入群。文末附行业细分群。

前言：

3D场景理解是自动驾驶、机器人导航等领域的基础。当前基于深度学习的方法在3D点云数据上表现出了十分出色的性能。然而，一些缺点阻碍了它们在现实世界中的应用。第一个原因是他们严重依赖大量的带注释点云，尤其是当高质量的3D注释获取成本高昂时。此外，他们通常不能识别训练数据中从未见过的新物体。因此，可能需要额外的注释工作来训练模型识别这些新的对象，这既繁琐又费时。 

OpenAI的CLIP为缓解2D视觉中的上述问题提供了一个新的视角。该方法利用网站上大规模免费提供的图文对进行训练，建立视觉语言关联，以实现有前景的开放词汇识别。基于此，MaskCLIP做了基于CLIP的2D图像语义分割的扩展工作。在对CLIP预训练网络进行最小修改的情况下，MaskCLIP可以直接用于新对象的语义分割，而无需额外的训练工作。PointCLIP将CLIP的样本分类问题从2D图像推广到3D点云