视觉-语言预训练大模型(如CLIP)已经显示出,能够从语言监督信息中提升视觉模型。但是由于3D-文本对获取的困难性和3D数据结构的不规则性,3D点云-文本的联合表示学习依然没有得到很好地研究。因此,提出一个Text4Point框架来构建语言引导的3D点云模型。关键的思路是利用2D图像作为一个桥梁,连接点云和语言两种不同的模态数据。Text4Point框架遵循预训练和fine-tuning的思路。在预训练阶段,基于RGB-D数据简历图像和点云之间的对应关系,利用对比学习来对齐图像和段云表示。和CLIP模型中已对齐的图像-文本特征图,可以把点云特征和文本嵌入做一个隐形的对齐。提出一个文本查询模块,通过查询文本嵌入和点云特征,把语言信息整合到3D表示学习中。在fine-tuning阶段,利用没有二维图像的标签集的语言指导,模型学习该模型学习特定于任务的 3D 表示。
Paper reading: Joint Representation Learning for Text and 3D Point Cloud
最新推荐文章于 2024-08-31 08:02:30 发布