MLP Architectures for Vision-and-Language Modeling: An Empirical Study 笔记
写在前面
这是一篇实验性质的论文,重点在于结论,这也是笔者第一次接触到这类文章,总体来说,重点关注实验结论,至于实验过程,还是尽量看懂其实验的步骤,无需过度理解。另外,参考文献中的一些文章值得细细阅读,会在博文最后面给出。
- 论文地址:MLP Architectures for Vision-and-Language Modeling: An Empirical Study
- 代码地址:Github,开源了但没完全开源~
- 看论文的风格,盲猜一波:预计提交了2022年的CVPR~
这篇博文也不打算扯太多东西了,不切分 子标题了,也基本上无需再次翻阅原文了~
一、Abstract
首次研究了MLP架构用于VL融合。在5个VL任务和5个数据集上进行实验。结果:
- 没有预训练的情况下,MLPs相比于Transformer有明显的性能代沟;
- VL预训练能够弥补这种代沟;
- 多头注意力机制并非那么牛,只需要在MLPs上加个单头注意力就足以表现的和transformer差不多的性能;
- 当进行鲁棒性VQA实验时,MLPs和Transform代沟会变小,这一点表明了使用MLPs用于VL融合能够泛化到和Transform类似的性能。
这些发现证实了MLPs可以有效的对齐VL特征而不需要self-attention,那么问题来了,能够用MLPs代替VL模型结构吗?答案是不行,所有的MLPs相较于最先进的VL模型,处于预训练的情况下,精度是次优的,但是预训练的MLP能够超过没有预训练的transform(废话)。
二、引言
前面的故事主要是讲一些MLP模型在分类任务中能够和Transform媲美,那么在多模态任务中呢?遂有了接下来的这篇论文。本文贡献如下:
- 首次研究了MLPs用于VL;
- 5个VL任务,收集了足够的证据证明摘要的结论以及MLPs存在的限制;
- 在5个VQA数据集上进行分析,MLPs加上单个注意力头能够大致取得Transform差不多的性能。
三、相关工作
两个部分的预训练介绍下:视觉-语言预训练,MLPs在视觉和语言方面的应用。
四、方法
上图中 Or 的部分就是这一节的介绍内容。
五、实验
- 实验步骤:
预训练数据集:COCO、VG、VQA、GQA
预训练目标:MLM、ITM、VQA
其他训练设置:Batch-512, 16块 V100, 5-6天,得,又是个烧钱的工作,惹不起!
下游任务:VQA、GQA、Visual Entailment(SNLI-VE)、NLVR、ITR(检索)
鲁棒性数据集:VQA-Rephrasings、VQA-LOL、GQA-OOD - MLPs的结果
摘要里面那些 - 纯MLPs的结果
仍有待进一步挖掘的空间(搁这挖坑呢) - 鲁棒性分析
纯MLPs提升空间很大(搁这挖坑呢)
六、消融实验
- 训练集的尺度
当然越大越好啊 - 参数尺度的影响
当然到某个程度就饱和滴啦 - 视觉和文本编码器的有效性
MLP很有前景(搁这挖坑呢) - 主要发现
MLP在分类上行不行?行
MLP在VL任务上行不行?不行 - MLP的变种比较
正常灌水,总之比Transform低 - 权重可视化
越到后面越融合在一起滴啦
七、结论+展望
结论:摘要里面那些
展望:加大数据,加大模型,前提:钱烧的足够多!
八、附录
- 更多的结果
模型加变化 - 图文匹配的结果
正常分析,给出MLP的潜力(挖坑) - 参数量和浮点数
这次我站MLP那边 - 下游任务的实验设置
VQA、Visual Entailment (SNLI-VE)、Natural Language for Visual Reasoning for Real (NLVR)、ImageText Retrieval、 - 鲁棒性数据集介绍
VQA-Rephrasings、VQA-LOL、Adversarial VQA、GQA-OOD - 额外的细节
换成CNN
博主认为的值得一阅的参考文献
以下这些文章我后面也会一一去阅读的,共同进步,奥利给!
【5】Jize Cao, Zhe Gan, Yu Cheng, Licheng Yu, Yen-Chun Chen, and Jingjing Liu. Behind the scene: Revealing the secrets of pre-trained vision-and-language models. In ECCV, 2020. 5
【10】Tejas Gokhale, Pratyay Banerjee, Chitta Baral, and Yezhou Yang. Vqa-lol: Visual question answering under the lens of logic. In ECCV, 2020. 2, 5, 15
【14】Lisa Anne Hendricks, John Mellor, Rosalia Schneider, Jean-Baptiste Alayrac, and Aida Nematzadeh. Decoupling the role of data, attention, and losses in multimodal transformers. arXiv preprint arXiv:2102.00529, 2021. 5
【32】Linjie Li, Zhe Gan, and Jingjing Liu. A closer look at the robustness of vision-and-language pre-trained models. arXiv preprint arXiv:2012.08673, 2020. 5, 15
【33】Linjie Li, Jie Lei, Zhe Gan, and Jingjing Liu. Adversarial vqa: A new benchmark for evaluating the robustness of vqa models. In ICCV, 2021. 2, 5, 15
【48】Meet Shah, Xinlei Chen, Marcus Rohrbach, and Devi Parikh. Cycle-consistency for robust visual question answering. In CVPR, 2019. 2, 5, 15
【50】Sasha Sheng, Amanpreet Singh, Vedanuj Goswami, Jose Alberto Lopez Magana, Wojciech Galuba, Devi Parikh, and Douwe Kiela. Human-adversarial visual question answering. In NeurIPS, 2021. 2, 5, 15
写在后面
本篇博文就这样潦草结束了,还是那句话,结论重要,论文没时间看的就不用去阅读了。博文最后列出来的几篇参考文献还是值的一看滴~