#今日论文推荐#剑桥大学等提出MAGIC，一个即插即用、无需训练的图像-文本生成框架

#今日论文推荐#剑桥大学等提出MAGIC，一个即插即用、无需训练的图像-文本生成框架

本文提出了一个全新的 MAGIC (iMAge-guided text GeneratIon with CLIP) 框架。该框架可以使用图片模态的信息指导预训练语言模型完成一系列跨模态生成任务，例如 image captioning 和 visually grounded story generation。

与其他方法不同的是，MAGIC 框架无需多模态的训练数据，只需利用现成的语言模型（例如 GPT-2）和图文匹配模型（例如 CLIP）就能够以 zero-shot 的方式高质量地完成多模态生成任务。此外，不同于使用梯度更新生成模型cache 的传统方法，MAGIC 框架无需梯度更新，因而具备更高效的推理效率。

论文题目：Language Models Can See: Plugging Visual Controls in Text Generation
详细解读：https://www.aminer.cn/research_report/62830cbe7cb68b460fba4a38?download=falsehttps://www.aminer.cn/research_report/62830cbe7cb68b460fba4a38?download=false
AMiner链接：https://www.aminer.cn/?f=cs