ViLBERT模型通过双流结构分别对文本和图像进行预训练，解决传统方法中视觉和语言模型泛化能力不足的问题。采用Co-Attentional Transformer Layers，在特定层融合文本和视觉信息，避免早期融合导致的损失。预训练任务包括预测遮罩的文本和图像 token，以及判断图文对齐。相较于单一流模型，ViLBERT强调不同信息流的独立处理和适应性。
阅读笔记：ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks
Contribution
-
提出 ViLBERT 模型（two streams model），由两个BERT结构分别对text和image进行学习，通过cross-attention进行信息交流，在两个预训练任务（proxy tasks）上进行预训练。最后在4个task上进行finetune：visual question answering、visual commonsense reasoning, referring expressions、caption-based image retrieval
-
指出主流visual-text model的问题：
the dominant strategy is to start with separate language and vision models pretrained for other large-scale tasks and then learn grounding as part of task training – often resulting in myopic gr
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
