论文浅尝 | Flamingo:一个小样本学习的视觉语言模型

笔记整理：许彤，浙江大学博士

链接：https://arxiv.org/pdf/2204.14198v1.pdf

1. 动机

人工智能的一个关键方面是在给定少量指令的情况下，能够快速学习新任务的能力。虽然在计算机视觉领域已经在类似的能力上有所进展，但最常用的范式仍然是先对从网络上收集的大量有监督的多模态数据进行预训练，然后对感兴趣的任务进行模型微调。然而，为了成功进行微调，通常需要数千个带注释的数据。除了注释成本之外，这种方法通常需要仔细地对每个任务进行单独的超参数调优，并且非常耗费资源。最近，使用对比学习目标训练的多模态视觉语言模型实现了对新任务无需微调的零样本迁移，然而，由于这些模型只是简单地提供文本和图像之间的相似性评分，因此它们只能处理有限的任务形式，例如分类任务。它们的关键缺陷是缺乏生成语言的能力，这使得它们不适合更加开放的任务，比如字幕生成或视觉问答。其他人则探索了视觉条件语言生成，但是在低数据量的条件下表现的效果不好。因此，作者提出了Flamingo，一个视觉语言模型，该模型仅仅通过使用一些输入/输出样例作为提示，就在几种开放视觉和语言任务上达到了新的SOTA。

2. 贡献

（1）提出了一个Flamingo视觉语言模型