CVPR点云论文（一）

ULIP: Learning a Unified Representation of Language, Images, and Point  Clouds for 3D Understanding

目前存在的问题：

3D模型的识别能力受到具有少量注释数据和预定义的类别集的数据集的限制。

文章的主要贡献：

ULIP利用了预先训练的视觉语言模型，该模型已经通过大量图像-文本对训练学习了共同的视觉和文本空间，通过该框架在 ShapeNet55 上简单地对多个最近的 3D 主干进行预训练，ULIP 有效地提高了它们的性能，在 ModelNet40 和 ScanObjectNN 上实现了标准 3D 分类和零样本 3D 分类的最新性能。

ULIP通过在同一空间中对齐来自图像、文本和点云的特征来提高三维理解。为了减少对3D数据的需求，ULIP利用了经过大规模图像-文本对预先训练的图像和文本编码器，并使用小规模的训练三联体将3D表示对准预先对齐的图像-文本特征空间。

ULIP有三个主要优势。

首先，ULIP可以大大提高三维骨干模型的识别能力。其次，ULIP与3D模型的架构不可知的；因此可以轻松地插入任何3D骨干，并使用ULIP改进它们。第三，在同一特征空间中对齐三种模式可以潜在地实现更多的跨域下游任务，包括零样本3D分类和图像到3D检索。