论文名称:CPT: Colorful Prompt Tuning For Pre-trained Vision-language Models
论文链接:https://www.aminer.cn/pub/6152b8a49e795ed0113b6d60?f=cs
据论文表示,这也是首次将prompt用于cross-model和零样本/少样本学习视觉定位中。
从目前的NLP和VLM模型来看,不少基于prompt的模型效果都不错,让搞CV的同学们也有点心动——能不能给我们也整一个?
那么,prompt究竟好在哪,应用于图像端后是否也能收获不错的效果?
一起来看看。与微调差别在哪?
最初,在NLP模型还不太大的时候,大家会采用“预训练+微调(fine-tune)”的方式设计针对特定任务的模型。
这种模式下,研究人员会预先训练出一个效果比较好的模型,再在保留大部分模型参数的情况下,根据特定任务(下游任务)调整部分参数,使得它在这一任务上达到最好的效果。
AMiner,让AI帮你理解科学!https://www.aminer.cn