多模态之论文笔记BLIP，BLIP2，Instruct BLIP

---

BLIP

一. 简介

题目: BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
机构：salesforce research
论文: https://arxiv.org/pdf/2201.12086.pdf
代码：https://github.com/salesforce/BLIP
任务: 视觉语言预训练
特点: 联合视觉语言理解以及生成，web 文本数据bootstrapping
方法: 模型侧设计了MED，数据侧用captioner以及filter进行文本的生成以及噪声过滤
前置相关工作：ALBEF

1.1 摘要与引言

视觉语言预训练（VLP）在许多视觉语言任务上取得了很好的表现。但现有的预训练模型大多数仅在基于理解的任务或者基于生成的任务取得了进展。除此之外，通过网上收集带噪声的海量图文尽管能够带来效果的提升，但往往是一个次优的监督数据源。本文中，我们提出了BLIP方法，一个新的视觉语言预训练框架，能够很灵活地迁移到视觉语言理解以及生成的任务。BLIP能够通过bootstrap文本描述来有效地利用带噪声的web数据，具体而言，使用一个captioner来生成新的文本描述以及用一个filt