本文探讨了Visual-Language Pretraining（VLP）模型的五大模块，包括Vision Encoder、Text Encoder、Multimodal Fusion、模型结构和预训练目标。实验表明，Swin Transformer在Vision Encoder中表现优秀，co-attention融合优于merged attention，Encoder-only结构优于Encoder-Decoder，而MLM任务对提升模型效果至关重要。
微信公众号“圆圆的算法笔记”，定期更新深度学习/CV/NLP/搜推广私人干货笔记~
Visual-Language Pretraining（VLP）是多模态领域的核心研究点之一，也是目前的一个热点研究方向。学术界提出了五花八门的VLP模型结构、训练方法方法。这些VLP方法哪种效果最好呢？微软近期发表的一篇论文An Empirical Study of Training End-to-End Vision and Language Transformers（2022）进行了大量的实验，对不同VLP模型、各个模块不同配置的效果。
本文以这篇论文为基础，详细介绍VLP的各个组成部分，以及各个部分的不同配置对效果的影响。
1. VLP中的五大模块
学术界关于Visual-Language模型的论文有几十上百篇，但是它们大多数都遵循同一个框架，包含五大模块，分别为Vision Encoder、Text Encoder、Multimodal Fusion、是否包含Decoder以及预训练任务（如下图）。不同的VLP论文主要对这5个模块进行不同的设计。
下面，我们回顾一下历史的VLP工作，看看各个模块都有哪些设计方式。
- Visual Encoder：Visual Encoder主要包括3种类型。第一种类型为使用object detection模型（一般为Faster R-CNN）识别图像
最低0.47元/天 解锁文章
3605
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
