BLIP阅读

paper：https://proceedings.mlr.press/v162/li22n/li22n.pdf

再此之前工作的缺陷：1、模型专注于单一的理解任务或单一的生成任务；2、预训练使用了从网络收集的带有噪声的image-text数据集；3、encoder-based或encoder-decoder

BLIP优势：BLIP是一个新的VLP（Vision-Language Pretraining）框架，它可以灵活地处理视觉语言理解和生成任务。BLIP合成caption和使用过滤器去除caption噪声。

BLIP提出：1、Multimodal mixture of Encoder-Decoder (MED)，MED可以当成unimodal encoder或者 image-grounded text encoder或者image-grounded text decoder。训练目标为： image-text contrastive learning、image-text matching和image conditioned language modeling。
2、 Captioning and Filtering (CapFilt)，在上述MED基础上微调，加入caption生成器和filter，filter同时过滤生成的caption和网络的caption。

模型结构：
MED = ITC（对齐文本和图片表达） + ITM（cross attention 来区分正确或错误的图文对） + LM（给定图片生成caption）

BLIP2：比BLIP与训练过程更加简洁。