《CPT COLORFUL PROMPT TUNING FOR PRE-TRAINED》 论文笔记
预先训练的视觉语言模型(VL-PTMs)在为图像数据提供自然语言基础方面显示出了良好的能力,促进了各种各样的跨模态任务。然而,我们注意到,模型预训练的与微调的客观形形式之间存在着显著的差异,这导致需要大量的标记数据来刺激VL- PTMs的视觉基础训练能力以帮助下游任务。为了解决这一挑战,我们提出了跨模态prompt tuning(CPT,或 Colorful Prompt Tuning),这是一种用于调优VL-PTMs的新范式,它将训练重新定义为一个在图像和文本中使用基于颜色的共参考标记的填空问题,最大限度
原创
2022-01-18 17:26:30 ·
2941 阅读 ·
0 评论