MLP Architectures for Vision-and-Language Modeling: An Empirical Study 笔记

最新推荐文章于 2022-12-31 15:24:42 发布
最新推荐文章于 2022-12-31 15:24:42 发布
阅读量2.6k 收藏
点赞数 2
分类专栏： 多模态研究 文章标签： 多模态融合
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38929105/article/details/121959380
版权

MLP Architectures for Vision-and-Language Modeling: An Empirical Study 笔记


写在前面
  这是一篇实验性质的论文，重点在于结论，这也是笔者第一次接触到这类文章，总体来说，重点关注实验结论，至于实验过程，还是尽量看懂其实验的步骤，无需过度理解。另外，参考文献中的一些文章值得细细阅读，会在博文最后面给出。

这篇博文也不打算扯太多东西了，不切分 子标题了，也基本上无需再次翻阅原文了~

一、Abstract

  首次研究了MLP架构用于VL融合。在5个VL任务和5个数据集上进行实验。结果：

  • 没有预训练的情况下，MLPs相比于Transformer有明显的性能代沟；
  • VL预训练能够弥补这种代沟；
  • 多头注意力机制并非那么牛，只需要在MLPs上加个单头注意力就足以表现的和transformer差不多的性能；
  • 当进行鲁棒性VQA实验时，MLPs和Transform代沟会变小，这一点表明了使用MLPs用于VL融合能够泛化到和Transform类似的性能。

  这些发现证实了MLPs可以有效的对齐VL特征而不需要self-attention，那么问题来了，能够用MLPs代替VL模型结构吗？答案是不行，所有的MLPs相较于最先进的VL模型，处于预训练的情况下，精度是次优的，但是预训练的MLP能够超过没有预训练的transform(废话)。

二、引言

  前面的故事主要是讲一些MLP模型在分类任务中能够和Transform媲美，那么在多模态任务中呢？遂有了接下来的这篇论文。本文贡献如下：

  • 首次研究了MLPs用于VL；
  • 5个VL任务，收集了足够的证据证明摘要的结论以及MLPs存在的限制；
  • 在5个VQA数据集上进行分析，MLPs加上单个注意力头能够大致取得Transform差不多的性能。

三、相关工作

  两个部分的预训练介绍下：视觉-语言预训练，MLPs在视觉和语言方面的应用。

四、方法

在这里插入图片描述
  上图中 Or 的部分就是这一节的介绍内容。

五、实验

  • 实验步骤：
    预训练数据集：COCO、VG、VQA、GQA
    预训练目标：MLM、ITM、VQA
    其他训练设置：Batch-512, 16块 V100， 5-6天，得，又是个烧钱的工作，惹不起！
    下游任务：VQA、GQA、Visual Entailment(SNLI-VE)、NLVR、ITR(检索)
    鲁棒性数据集：VQA-Rephrasings、VQA-LOL、GQA-OOD
  • MLPs的结果
    摘要里面那些
  • 纯MLPs的结果
    仍有待进一步挖掘的空间(搁这挖坑呢)
  • 鲁棒性分析
    纯MLPs提升空间很大(搁这挖坑呢)

六、消融实验

  • 训练集的尺度
    当然越大越好啊
  • 参数尺度的影响
    当然到某个程度就饱和滴啦
  • 视觉和文本编码器的有效性
    MLP很有前景(搁这挖坑呢)
  • 主要发现
    MLP在分类上行不行？行
    MLP在VL任务上行不行？不行
  • MLP的变种比较
    正常灌水，总之比Transform低
  • 权重可视化
    越到后面越融合在一起滴啦

七、结论+展望

  结论：摘要里面那些
  展望：加大数据，加大模型，前提：钱烧的足够多！

八、附录

  • 更多的结果
    模型加变化
  • 图文匹配的结果
    正常分析，给出MLP的潜力(挖坑)
  • 参数量和浮点数
    这次我站MLP那边
  • 下游任务的实验设置
    VQA、Visual Entailment (SNLI-VE)、Natural Language for Visual Reasoning for Real (NLVR)、ImageText Retrieval、
  • 鲁棒性数据集介绍
    VQA-Rephrasings、VQA-LOL、Adversarial VQA、GQA-OOD
  • 额外的细节
    换成CNN

博主认为的值得一阅的参考文献

  以下这些文章我后面也会一一去阅读的，共同进步，奥利给！

【5】Jize Cao, Zhe Gan, Yu Cheng, Licheng Yu, Yen-Chun Chen, and Jingjing Liu. Behind the scene: Revealing the secrets of pre-trained vision-and-language models. In ECCV, 2020. 5
【10】Tejas Gokhale, Pratyay Banerjee, Chitta Baral, and Yezhou Yang. Vqa-lol: Visual question answering under the lens of logic. In ECCV, 2020. 2, 5, 15
【14】Lisa Anne Hendricks, John Mellor, Rosalia Schneider, Jean-Baptiste Alayrac, and Aida Nematzadeh. Decoupling the role of data, attention, and losses in multimodal transformers. arXiv preprint arXiv:2102.00529, 2021. 5
【32】Linjie Li, Zhe Gan, and Jingjing Liu. A closer look at the robustness of vision-and-language pre-trained models. arXiv preprint arXiv:2012.08673, 2020. 5, 15
【33】Linjie Li, Jie Lei, Zhe Gan, and Jingjing Liu. Adversarial vqa: A new benchmark for evaluating the robustness of vqa models. In ICCV, 2021. 2, 5, 15
【48】Meet Shah, Xinlei Chen, Marcus Rohrbach, and Devi Parikh. Cycle-consistency for robust visual question answering. In CVPR, 2019. 2, 5, 15
【50】Sasha Sheng, Amanpreet Singh, Vedanuj Goswami, Jose Alberto Lopez Magana, Wojciech Galuba, Devi Parikh, and Douwe Kiela. Human-adversarial visual question answering. In NeurIPS, 2021. 2, 5, 15

写在后面
  本篇博文就这样潦草结束了，还是那句话，结论重要，论文没时间看的就不用去阅读了。博文最后列出来的几篇参考文献还是值的一看滴~

乄洛尘
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
新坑来了！谷歌提出MLP-Mixer：一种用于视觉的全MLP架构
阿木寺的博客
05-05 712
一种仅基于多层感知机（MLP）的体系结构！可比肩并旨在超越成熟的CNN和大火的视觉Transformer的阵营工作，代码即将开源！ PS：这个能引爆一波视觉MLP工作么？也许之后是CNN、Transformer、MLP几大阵营了…谷歌继续挖坑，太强了！ 注1：文末附【Transformer】交流群 注2：整理不易，欢迎点赞，支持分享！ 想看更多CVPR 2021论文和开源项目可以点击： CVPR2021-Papers-with-Code ​ MLP-Mixer: An all-MLP Archi
《MLP-Mixer: An all-MLP Architecture for Vision》的讲解
qq_42178122的博客
05-24 585
MLP-Mixer: An all-MLP Architecture for Vision 论文地址： https://arxiv.org/abs/2105.01601 可以不使用CNN和transformer，仅仅依靠MLP来解决复杂数据集的分类任务吗？ 《MLP-Mixer: An all-MLP Architecture for Vision》为了解决上诉问题，它仅仅依赖于基础矩阵乘法运算和数据的布局变换 (reshapes and transpositions) ，以及非线性层。结果表明，尽管Mix
机器学习项目实战 - VQA视觉聊天机器人
kk的博客
07-07 3886
第一章 使用神经网络算法实现 - 流程梳理 这里我们用Keras来实现这么一个VQA的模型 你可以自由选择keras的backend，或者是theano或者是tensorflow 这个project涉及到大量图片，建议使用GPU。 本教程使用的是python2 导入库 import sys from random import shuffle import argparse imp...
消融实验（Ablation study）的最佳解释
热门推荐
qq_42072073的博客
07-29 3万+
今天读文章读到了ablationstudy这个术语，查到了原来是消融实验的意思。那么消融实验是什么意思呢？在网上找到了我最能理解的一种解释，现转载分享给大家，也方便自己以后来看。 消融实验的核心是控制变量。 比如说你为了提升baseline的性能，给它加了两个模块A,B，加完之后效果果然提高了很多。于是你急急忙忙开始写论文，写到你的贡献，你给了两条：1.模块A，2.模块B。 但是这样写有个问题：尽管AB同时加上去对模型有提升效果，但是你...
计算机视觉（CV）领域Transformer最新论文及资源整理分享
lqfarmer的博客
12-31 770
Transformer由论文《Attention is All You Need》提出，现在是谷歌云TPU推荐的参考模型。Transformer改进了RNN最被人诟病的训练慢的缺点，利用self-attention机制实现快速并行。并且Transformer可以增加到非常深的深度，充分发掘DNN模型的特性，提升模型准确率。资源整理自网络，源地址：https://github.com/DirtyHarryLYL/Transformer-in-Vision。
CNN-and-MLP-exercises:Udacity的CNN和MLP练习
03-07
标题中的“CNN-and-MLP-exercises”表明这是一个关于卷积神经网络（Convolutional Neural Networks, CNN）和多层感知机（Multilayer Perceptrons, MLP）的实践项目，源自Udacity在线教育平台。这个项目可能是为了...
matlab批量替换代码-mlp-fashion-mnist:mlp-fashion-mnist
05-22
matlab批量替换代码时尚MNIST Fashion-MNIST是的商品图片数据集-包含60,000个示例的训练集和10,000个示例的测试集。 每个示例都是一个28x28灰度图像，与来自10个类别的标签相关联。 我们打算将Fashion-MNIST用作原始...
matlab代码粒子群算法-CPSOGSA-for-MLP-Training:CPSOGSA用于MLP培训
05-27
在`CPSOGSA-for-MLP-Training-master`文件夹中，可能包含以下关键文件： 1. `CPSOGSA.m`: 实现CPSOGSA算法的核心代码，包括初始化、更新规则以及适应度计算等。 2. `train_MLP.m`: MLP的训练函数，与CPSOGSA算法...
udacity-machine-learning-engineer:Udacity纳米级机器学习工程师的作业和笔记
04-30
关于Udacity纳米级机器学习工程师的作业和笔记。笔记：在不同分类器上绘制决策边界。 ：使用KFold将数据拆分为训练测试集以进行交叉验证。 ：使用网格搜索来调整决策树分类的超参数。 ：根据BMI预测寿命。 ：预测...
matlab精度检验代码-comparative-study-of-MLP-classifiers-on-UCI-Datasets:在这个项目
05-22
matlab精度检验代码UCI数据集上的MLP分类器比较研究 在这个项目中，有两个工作要做。 首先，比较各种BP算法，经过培训和测试后，需要运行程序的CPU时间。 另一部分是实现自动编码器分类器和最小距离分类器，然后将这...
《iVQA: Inverse Visual Question Answering》读书笔记
jiang6869732的博客
08-03 829
《iVQA: Inverse Visual Question Answering》读书笔记 一、iVQA介绍 VQA是根据image、question生成关于image的答案，而iVQA是VQA的逆过程，给出一个answer、image生成与之相关的question。 二、iVQA面临的挑战 （1） iVQA模型利用问题偏差的可能性可能小于VQA通过答案偏差得分高的范围（问题偏差较少，利用...
VQA（Visual Question Answering）技术
小白水手的博客
10-29 5906
这是一种涉及计算机视觉和自然语言处理的学习任务。 初识—定义： A VQA system takes as input an image and a free-form, open-ended, natural-language question about the image and produces a natural-language answer as the output. 翻译下就是：...
Deep Learning Resources
ShiningJotes的博客
10-15 9917
转自：https://handong1587.github.io/deep_learning/2015/10/09/dl-resources.html ImageNet Single-model on 224x224 Method top1 top5 Model Size Speed ResNet-101 78.0% 94.0%     ...
CVPR2021论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
S2-MLP: Spatial-Shift MLP Architecture for Vision
HHzdh的博客
10-21 1680
Abstract 最近，Visual Transformer (ViT)及其后续作品放弃了卷积，采用了自注意运算，达到了与CNN相当甚至更高的精度。最近，MLP-Mixer放弃了卷积和自注意操作，提出了一个只包含MLP层的架构。为了实现跨patch communication，在channel-mixing MLP的基础上，设计了一个额外的token-mixing MLP。当在极其大规模的数据集上进行训练时，它获得了很好的结果。但在ImageNet1K和ImageNet21K等中等规模...
全MLP结构模型学习笔记
charles_zhang_的博客
06-04 3307
卷积神经网络（CNN）是计算机视觉的常用模型。最近，基于注意力的网络，如Vision Transformer，也变得很流行。在本文中，我们表明，虽然卷积和注意力都足以获得良好的性能，但它们都不是必需的。我们提出了MLPMixer，一种专门基于多层感知器（MLP）的体系结构。MLP混合器包含两种类型的层：一种是将MLP独立应用于图像patches的层（即“混合”每个位置的特征），另一种是跨patches应用MLP的层（即“混合”空间信息）。......
《MLP-Mixer: An all-MLP Architecture for Vision》2021
u010087277的博客
05-11 1628
摘要：卷积网络CNN是计算机视觉中的必用模型。最近，基于注意力机制的网络结构，比如视觉Transformer，也越来越流行。在这篇文章中我们将展示，虽然卷积和注意力机制是获得优良性能的必要结构，但它们都不是必须的。我们提出MLP-Mixer，一个仅仅基于多层感知机(MLPs)的结构。MLP-Mixer包含两种类型的网络层：一种是独立应用于图像patch的多层感知机MLPs(比如 "混合"每个局部特征)。另一个是应用于交叉patches的多层感知机（比如 “混合”空间信息）。当MLP-Mixer在大的数据集上
附代码 MLP-Mixer: An all-MLP Architecture for Vision论文解读
weixin_44543648的博客
04-09 1869
MLP-Mixer: An all-MLP Architecture for Vision论文解读 参考连接：https://blog.csdn.net/weixin_44855366/article/details/120796804 摘要： 在不使用卷积或自我注意情况下，我们提出了MLP-Mixer，一个专门基于多层感知器(MLPs)的架构。MLP-Mixer包含两种类型的层：一种是将MLPs独立应用于image patch（即“混合”位置特征），另一种是跨patch应用的MLPs（即“混合”空间信息）
计算机视觉论文-2021-06-02
中科院AI算法工程师的博客
06-02 1348
1, TITLE:Incorporating Visual Layout Structures for Scientific Text Classification AUTHORS: ZEJIANG SHEN et. al. CATEGORY: cs.CL [cs.CL, cs.CV] HIGHLIGHT: We introduce new methods for incorporating VIsual LAyout structures (VILA), e.g., the grouping of...
mlp-mixer: an all-mlp architecture for vision
最新发布
06-28
### 回答1： mlp-mixer是一种全MLP架构，用于视觉任务。它使用多层感知机（MLP）来代替传统的卷积神经网络（CNN）来处理图像。这种架构的优点是可以更好地处理不同尺度和方向的特征，同时减少了计算和内存消耗。它在许多视觉任务中表现出色，例如图像分类、目标检测和语义分割。 ### 回答2： mlp-mixer是一种全连接多层感知器（Multi-Layer Perceptron，MLP）网络架构，用于视觉场景的图像分类任务。它是在自然语言处理领域中Transformer的启发下发展起来的。与CNN、ResNet等传统的卷积神经网络架构不同，mlp-mixer主要采用全连接层（FC）和MLP Block。 mlp-mixer架构设计的主要思想是将全局信息和本地信息分离，然后通过一系列由FC和MLP Block组成的混合层进行特征提取。在每个MLP Block中，特征向量会被分成多个部分进行局部特征提取，之后再全局汇聚。这样可以保证局部信息不会在多次卷积操作后丢失，并且全局信息的汇聚也是非常高效的。 另外，mlp-mixer架构中的Layer Norm和MLP Block中的GELU激活函数等技术也是有其特点的。Layer Norm是比Batch Norm更加具有一般性的归一化技术，可以提高模型对小批量数据的扩展性。而GELU激活函数在接近0处光滑，对精度保持了很好的提升。这些技术的运用让mlp-mixer模型具有了更好的稳定性和鲁棒性。 综上所述，mlp-mixer是一个全新的神经网络架构，其与传统的卷积神经网络的不同点在于摆脱了卷积操作，通过全连接层和MLP Block等模块提取图像特征。该模型有很强的泛化性，并且在图像分类任务上取得了不错的效果。它的优点在于良好的可扩展性和可解释性，且训练效果非常稳定。在未来，mlp-mixer模型或许有望在计算机视觉领域中取得更进一步的发展。 ### 回答3： MLP-Mixer是一种全MLP（多层感知器）的架构，可以应用于视觉任务中的图像分类和目标检测等任务。MLP-Mixer在CVPR 2021中被提出并于同年6月被公开发布。 传统的卷积神经网络（CNN）被广泛应用于计算机视觉领域。但是，随着计算机视觉任务的不断发展和增加，如何更好地处理不同类型和规模的数据集，成为了一个挑战。因此，MLP-Mixer尝试解决传统卷积神经网络中一些问题，例如参数共享、池化和批归一化等。 MLP-Mixer的主要思想是将传统的卷积操作替换为由若干密集连接层（全连接层）组成的mixing层。传统的卷积操作只考虑空间上的邻居关系，而mixing层考虑全局视角。mixing层通过对不同通道（channel）的信息进行交互，捕捉不同通道之间的全局相关性，提高了特征提取的效率和性能，同时降低卷积神经网络的复杂性。 此外，MLP-Mixer还引入了多层感知器池化层（MLP Pooling Layer）代替传统的最大池化层（Max Pooling Layer），使神经网络更加灵活和高效。MLP-Mixer考虑到了计算机视觉中不同尺度的特征信息，通过MLP池化层进行特征重组和降维，使得神经网络可以处理多尺度特征信息，提高特征提取的精度和速度。 总的来说，MLP-Mixer是一种全MLP的架构，其独特的mixing层和MLP Pooling层相比传统的卷积神经网络有着更好的性能和可扩展性。未来，MLP-Mixer有望在计算机视觉领域的各种任务中得到广泛的应用。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

乄洛尘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值