Raki的读paper小记：ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision

最新推荐文章于 2023-03-29 09:15:04 发布
最新推荐文章于 2023-03-29 09:15:04 发布
阅读量349 收藏
点赞数
分类专栏： Multimodal 读paper 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Raki_J/article/details/126664657
版权

Abstract&Introduction&Related Work

  • 研究任务

    • 多模态建模

  • 已有方法和相关工作

    • 之前的方法在图片-文本-模态融合上的表达能力（或者说使用的计算资源）并不对称，本文列出了之前的经典方法和本工作表达不同模态上使用资源的对比
    • 在这里插入图片描述

  • 面临挑战

    • 图像特征抽取速度太慢

  • 创新思路

    • 使用VIT的方法与思想，将图片打成patch，然后使用简单的linear层进行特征抽取

  • 实验结论

    • 对比之前的sota，抽取图片特征的时间从810ms降低到了0.4ms，加速了两千倍
    • 速度达到最快，并且保持不错的效果
      在这里插入图片描述

ViLT

每个token使用position embedding，并且标记所属的模态，将三个值直接相加

  • 使用whole word masking
  • 使用RandAugment，但是取消掉 color inversion和cutout，因为这两者会导致文本和图像语义不匹配导致训练效果不好
  • 使用Image Text Matching Loss
  • Masked Language Modeling Loss
    在这里插入图片描述
    一些公式
    在这里插入图片描述

Experiments

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Conclusions

在本文中，我们提出了一种最小VLP架构，Vision和Langauge Transformer（ViLT）
ViLT对于配备了大量卷积视觉嵌入网络（例如，更快的R-CNN和Resnet）的竞争对手来说是一个优势。我们要求未来在VLP方面的工作更多地关注transformer模块内部的模态交互，而不是仅仅为单模态嵌入器而卷的军备竞赛
尽管如此，ViLT-B/32更像是一个概念证明，没有卷积和区域监督的有效VLP模型仍然可以胜任。最后，我们指出了一些可能添加到ViLT家族的因素

Scalability

没什么好说的，越大越猛大家都懂

Masked Modeling for Visual Inputs

很好的想法，后面BEiT和MAE都做出来了，而且成为目前大火的方向

Augmentation Strategies

同样很有用的方法

Remark

一篇比较有启发的paper，可以称之为很novel，虽然效果没有达到sota，但是并不影响其对后续工作的启发性，在展望中的三个方向都成为现在的热门

爱睡觉的Raki
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
web-service:Raki音乐应用程序的Web服务
05-22
＃Raki音乐应用程序Web服务Raki Music Android应用程序已发布。 您可以从此链接访问它。 Web服务开发过程中使用了Spring库，而ORM使用了Hibernate。 如果这是您的第一次或正在考虑对Spring和Hibernate感兴趣。 查看...
【预训练语言模型】KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation
夏栀的博客
12-31 1789
【预训练语言模型】KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation 核心要点： 不引入任何参数实现知识融合； 结合知识表示学习和MLM两个loss进行训练； 构建新的benchmark：wikidata5M 简要信息： 序号 属性 值 1 模型名称 KEPLER 2 发表位置 ACL 2019 3 所属领域 自然语言处理、预训练语言模型 4 研究内容
ViLT-多模态论文复现
盼你开心
03-29 1665
多模态经典论文，VILT论文复现。
NLP实践——利用自己的语料进行Mask Language Model预训练
weixin_44826203的博客
11-27 9795
#!/usr/bin/env python # coding: utf-8 # In[1]: import os import json import copy from tqdm.notebook import tqdm import torch from torch.optim import AdamW from torch.utils.data import DataLoader, Dataset from transformers import BertForMaskedLM, BertTo
【论文&模型讲解】ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
Friedrichor的博客
10-05 3532
ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision论文讲解
2021： ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
weixin_42653320的博客
02-24 3994
摘要 现有的VLP方法严重依赖图像特征提取过程，大多包含区域监督（如目标检测）和卷积的结构（如ResNet）。尽管在文献中忽略，但我们发现有两个问题：1）效率/速度，仅仅提取特征就比多模态交互步骤需要更多的计算；2）表达能力，因为它是视觉嵌入器及其预定义的视觉词汇的表达能力上限。本文，我们提出一个最小的VLP模型--视觉和语言Transformer(ViLT)，将视觉输入的处理大大简化为与处理文本输入相同的无卷积方式。我们证明了ViLT比以前的VLP模型快几十倍，且具有竞争力或更好的下游任...
ViLT：最简单的多模态Transformer
weixin_40920183的博客
05-22 2795
之所以用这一篇作为多模态的开篇是因为这篇清楚的归纳了各种多模态算法，可以当成一个小综述来看，然后还提出了一种非常简单的多模态Transformer方法ViLT。先阐述一下4种不同类型的Vi...
多模态论文笔记ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
weixin_44031582的博客
10-08 3240
ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision Abstract Vision-and-Language Pre-training(VLP)提高了各种视觉-语言联合的下游任务的性能。目前的VLP方法在很大程度上依赖于图像特征提取过程，其中大多数涉及region super-vision区域监督（如对象检测）和卷积结构(如ResNet)。虽然在文献中被忽视了，但我们发现两者都有问题（1）效率/速度，
NLP 3.5 Transformer的结构，BERT&masked language model
JJJJJJames的博客
02-23 3849
1、Transformer LSTM 和 transformer可以互相替代。 Long term dependency 是 rnn/lstm-based models 的主要问题。以及串行计算的高时间复杂度。shallow model，只在时间维度上deep，纵向的角度是浅层的。 Linear computation 是时序模型的通病。 1.2 Transformer的结构 encoder+decoder: 每个部分都是deep的 每个encoder：self-attention+feed forwar
后BERT时代
程序猿废柴的博客
06-23 3362
目录 一、迁移学习与模型预训练：何去何从 迁移学习分类 何去何从 现状分析 未来可期 二、各类代表性工作 有监督模型预训练：CoVe 自监督学习同时训练：CVT 无监督模型预训练 ELMo ULMFiT & SiATL GPT/GPT-2 BERT ERNIE: Enhanced Representation through Kn...
复旦大学邱锡鹏教授：NLP预训练模型综述
Paper weekly
04-13 5161
©PaperWeekly 原创 ·作者｜王馨月学校｜四川大学本科生研究方向｜自然语言处理引言随深度学习的发展，多种神经网络都被应用在 NLP 任务中，比如 CNN、RNN、GNN 和...
文献阅读：Should You Mask 15% in Masked Language Modeling?
codename_cys的博客
02-27 1158
文献阅读：Should You Mask 15% in Masked Language Modeling? 1. 内容简介 2. 实验考察 1. mask比例考察 2. corruption & prediction 3. 80-10-10原则考察 4. mask选择考察 3. 结论 & 思考 文献链接：https://arxiv.org/pdf/2202.08005.pdf 1. 内容简介 这是前段时间看到的陈丹琦女神的新工作，刚好凑上她获得斯隆奖，就下载下来看了一..
UFO：微软学者提出视觉语言表征学习的统一Transformer，在多个多模态任务上达到SOTA性能！...
我爱计算机视觉
07-03 402
关注公众号，发现CV技术之美本篇文章分享论文『UFO: A UniFied TransfOrmer for Vision-Language Representation Learning』，微软学者提出视觉语言表征学习的统一Transformer，《UFO》，在多个多模态任务上达到SOTA性能！详细信息如下：论文链接：https://arxiv.org/abs/2004....
这几个模型不讲“模德”，我劝它们耗子尾汁
夕小瑶科技说
11-24 811
文 | Sheryc_王苏NLP模型要以和为贵，要讲“模德”（Modal），不要搞窝里斗。——《王苏老师被多模态预训练模型偷袭实录》（全文在末尾，必读）最近是不是被马保国“不讲武德”“耗...
Bert代码详解（二）
cpluss的博客
03-12 6971
这是bert的pytorch版本（与tensorflow一样的，这个更简单些，这个看懂了，tf也能看懂），地址：https://github.com/huggingface/pytorch-pretrained-BERT主要内容在pytorch_pretrained_bert/modeling文件中。 由于这几天要参见计算所复试，超级紧张，所以先把草稿贴在这里，复试过了再加以完善！！！嘤嘤...
ViLT Vision-and-Language Transformer Without Convolution or Region Supervision
weixin_45104951的博客
09-17 768
Vision and Language Pre-training(VLP)已经已经在视觉语言的多模态下游任务中发展的很好。然而，当前VLP的工作主要集中在图像特征抽取上，一般来讲，图像特征抽取的越好，下游任务中的表现就越好。但是，现在主要有两个问题，一是效率太低，速度太慢，抽取图像特征花费大量时间，比多模态融合都多。我们应该花费更多时间在融合上。第二个是，你用一个预训练好的模型去抽取特征，表达能力受限。目标检测数据集不够大，规模不够大。如果模型不是端到端学习，只是从预训练模型抽取特征，大概率来说不是最优解。
ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
qq_14982565的博客
08-22 1049
ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision
ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision内容理解
乄洛尘
06-25 4935
这篇文章作为一系列多模态理解的第一篇，从这里记录本人研究内容相关话题，期待后来者共同学习，共同进步，也顺便作为笔记备份。
服务器huggingface模型下载
最新发布
09-11
服务器huggingface模型下载超时的问题可能是因为最大的模型下载超时。解决方案之一是手动下载并保存到对应位置。在Linux下，模型文件应该存放在~/.cache/huggingface/hub/models--dandelin--vilt-b32-finetuned-vqa/snapshots/d0a1f6ab88522427a7ae76ceb6e1e1e7b68a1d08下。其中，~/.cache/huggingface/hub/为固定路径，models--dandelin--vilt-b32-finetuned-vqa为模型文件夹，d0a1f6ab88522427a7ae76ceb6e1e1e7b68a1d08是最终放数据的地方。你可以在models--dandelin--vilt-b32-finetuned-vqa下新建snapshots文件夹，并把下载好的文件放进去，这样就可以正常使用了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值