超级会员免费看
本文深入探讨了BLIP、BLIP2和Instruct BLIP这三项视觉语言预训练技术。BLIP通过多模态混合编码器（MED）和Captioning and Filtering（CapFilt）算法，提升模型在理解和生成任务上的性能。BLIP2引入Querying Transformer（Q-Former）进行两阶段预训练，降低了训练成本。Instruct BLIP则提出指令感知的视觉特征提取，增强了模型的泛化能力，通过广泛的指令微调在多个视觉语言任务上取得SOTA结果。
文章目录
- BLIP
- BLIP2
- Instruct BLIP
-
- 一. 简介
-
- 1.1 摘要与引言
- 1.2 Vision-Language Instruction Tuning
- 1.3 Tasks and Datasets
- 1.3 Training and Evaluation Protocols
- 1.3 Instruction-aware Visual Feature Extraction
- 1.4 Training Dataset Balancing
- 1.5 Inference Methods
- 1.5 Implementation Details
- 1.6 Results and Analysis
- 1.7 Ablation Study on Instruction Tuning Techniques
- 1.7 Qualitative Evaluation
BLIP
一. 简介
题目: BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
机构：salesforce research
论文: https://arxiv.org/pdf/2201.12086.pdf
代码：https://github.com/salesforce/BLIP
任务: 视觉语言预训练
特点: 联合视觉语言理解以及生成，web 文本数据bootstrapping
方法: 模型侧设计了MED，数据侧用captioner以及filter进行文本的生成以及噪声过滤
前置相关工作：ALBEF
1.1 摘要与引言
视觉语言预训练（VLP）在许多视觉语言任务上取得了很好的表现。但现有的预训练模型大多数仅在基于理解的任务或者基于生成的任务取得了进展。除此之外，通过网上收集带噪声的海量图文尽管能够带来效果的提升，但往往是一个次优的监督数据源。本文中，我们提出了BLIP方法，一个新的视觉语言预训练框架，能够很灵活地迁移到视觉语言理解以及生成的
订阅专栏 解锁全文
扫一扫
839
到【灌水乐园】发言
