51-12 多模态论文串讲—BLIP (Bootstrapping Language-Image Pre-training) 论文精读

BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation.

视觉语言预训练VLP模型最近在各种多模态下游任务上获得了巨大的成功，目前还有两个主要局限性:

(1) 模型角度: 大多数方法要么采用encoder模型，要么采用encoder-decoder模型。然而，基于编码器的模型不太容易直接转换到文本生成任务（如图像字幕），而编码器-解码器模型尚未成功用于图像文本检索任务。

(2) 数据角度: 如CLIP、ALBEF等从web上收集到的图文对上进行预训练，目前用有噪声的网络文本训练效果是次优的。

为此，作者提出了BLIP: 引导语言图像预训练，以实现统一的视觉语言理解和生成。BLIP是一个新的VLP框架，与现有方法相比，它可以实现更广泛的下游任务。它分别从模型和数据角度有两个贡献:

(1) 多模态编码器-解码器混合（MED）：一种用于有效多任务预训练和灵活迁移学习的新模型架构。MED可以作为单模态编码器、基于图像的文本编码器或基于图像的文本解码器工作。该模型与三个视觉语言目标联合预训练：图像文本对比学习、图像文本匹配和图像条件语言建模。

(2) CapFilter：一种新的