阅读笔记：ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Task

最新推荐文章于 2024-03-06 17:45:59 发布
VIP文章 最新推荐文章于 2024-03-06 17:45:59 发布
阅读量718 收藏 4
点赞数 1
分类专栏： 论文阅读笔记 文章标签： 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43874380/article/details/111184736
版权

阅读笔记：ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks

在这里插入图片描述

Contribution

  • 提出 ViLBERT 模型（two streams model），由两个BERT结构分别对text和image进行学习，通过cross-attention进行信息交流，在两个预训练任务（proxy tasks）上进行预训练。最后在4个task上进行finetune：visual question answering、visual commonsense reasoning, referring expressions、caption-based image retrieval

  • 指出主流visual-text model的问题：

    the dominant strategy is to start with separate language and visi

最低0.47元/天 解锁文章
Araloak
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
pretraining-for-language-understanding:训练语言模型以进行语言理解
03-14
语言理解预训练 现在，针对语言理解的语言模型预训练是NLP上下文中的重要一步。 语言模型将在庞大的语料库上进行训练，然后我们可以将其用作需要处理语言的其他模型的组成部分（例如，将其用于下游任务）。...
Causal Attention for Vision-Language Tasks Paper: Causal Attention for Vision-Language Tasks个人理解
qq_42856273的博客
10-12 1631
Causal Attention for Vision-Language Tasks Paper: Causal Attention for Vision-Language Tasks 传统的视觉语言任务中，如果数据集是长尾分布的，attention机制更加关注head的信息，如果问及long-tail的问题会得到错误的答案。 符号 含义 C 共识 X 输入特征 Z attention从X中学到的信息 M 目标识别从X中提取的实体集 Y 输出标签 因果图： #mermai
CVPR 2021 《Causal Attention for Vision-Language Tasks》论文笔记
lch的博客
05-11 3234
目录简介动机方法实验 简介 本文出自张含望老师课题组。 论文链接 动机 文章的第一句就说明了本文的动机，也就是，本文提出了一个新颖的注意力机制，可以消除现有的基于注意力的视觉语言方法中的混杂效应。 混杂效应会造成有害的bias，误导注意力模块学到数据中的虚假相关，从而降低模型的泛化性。 由于混杂是不可观测的，所以作者使用了前门调整策略实现因果干预。 方法 现有的方法中通常是建模公式1： 作者认为，应该建模P(Y∣do(X))P(Y|do(X))P(Y∣do(X))。但是由于混杂的存在，P(Y∣do(X
因果学习篇(2)-Causal Attention for Vision-Language Tasks（文献阅读）
最新发布
chenzhiwen1998的博客
03-06 1341
一篇由南洋理工大学和澳大利亚莫纳什大学联合发表自2021年的CVPR顶会上的一篇文献，提出了一种新的注意力机制：因果注意力(CATT)，使用因果推断中的“前门准则”解决训练数据中存在的虚假相关性，刨析了注意力机制在推理过程中的因果原理，在提高模型性能的前提下，加强了模型的可解释性，打开了神经网络的黑匣子，具有非常好的参考意义。
论文解读ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks
qq_41932160的博客
03-03 3118
ViLBERT 论文解读
CVPR 2019 ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language
smile909的博客
04-17 857
动机 现存方法的两大局限性： 视觉理解任务使用的主要策略是先基于其他大规模任务分别预训练视觉和语言模型，然后将其作为具体任务的一部分基础知识。然而，1）这种方案学习到的基础知识并不牢靠，当visiolinguistic data有限或者有偏时(biased)，模型的泛化能力很差。此外，2）在单模态数据上学习的近乎完美的表征，往往忽略了与其他模态之间的联系。比如，即使狗品种分类的视觉表征是完美的，但在下游任务中模型若无法将该视觉表征与形如"小猎犬"或"牧羊人"这样的近似短语进行关联，这种完美的视觉表征也是近乎
awesome-vision-language-pretraining-papers:视觉和语言预训练模型（VL-PTM）的最新进展
04-22
视觉和语言预训练模型（VL-PTM）的最新进展 由（ ）维护。 2021/02/26的最新更新。 目录 基于图像的VL-PTM 表征学习 预训练不可知视觉语言表示法，NeurIPS 2019 [代码] LXMERT：从变压器学习跨模态编码器表示法，...
dont-stop-pretraining:与``不要停止预培训ACL 2020''论文相关的代码
03-20
title = { Don't Stop Pretraining: Adapt Language Models to Domains and Tasks } , year = { 2020 } , booktitle = { Proceedings of ACL } , } 安装 conda env create -f environment.yml co
HERO:EMNLP 2020研究论文“ HERO”的研究代码
05-02
HERO：用于视频+语言全方位表示预训练的分层编码器这是 （EMNLP 2020）的官方资料库。 该存储库当前支持在 ， ， ， ， 和上微调HERO。 发布了最佳的预训练检查点（在和数据集上）。 还提供了电视数据集上的HERO预...
中文-ELECTRA：训练有素的中文ELECTRA（中文ELECTRA预训练模型）
02-03
|谷歌与斯坦福大学共同研发的最新预训练模型ELECTRA因其小巧的模型体积以及良好的模型性能受到了广泛关注。为了进一步促进中文预训练模型技术的研究与发展，哈工大讯飞联合实验室基于官方ELECTRA ELECTRA-small模型...
【论文笔记】ViLBERT:Pretraining Task-Agnostic VisiolinguisticRepresentations for Vision-and-Language Tasks
m0_58678659的博客
03-21 2570
ViLBERT 统一多模态的新 BERT 预训练模型
视觉理解论文系列(四)ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Languag
csdn_tclz的博客
11-02 2492
摘要 本篇论文的作者来自于佐治亚理工学院、俄勒冈州立大学、Facebook AI 研究院。本文提出ViLBERT(Vision-and-Language BERT)，该模型用来学习任务无关的图像和自然语言联合表征。ViLBERT在BERT的基础上拓展为多模态的双流模型，在各自的流中处理图像和文本输入，这两个流通过Co-attention transformer层进行交互。ViLBERT应用到下游任务时仅需对基础架构进行少量的调整，实验结果表明本文的ViLBERT在4个下游任务中显著优于面向特定任务的最先进模
ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks
连理o的博客
01-02 918
目录ViLBERT: Extending BERT to Jointly Represent Images and TextExperimental SettingsReferences ViLBERT: Vision-and-Language BERT ViLBERT: Extending BERT to Jointly Represent Images and Text Two-stream Architecture: ViLBERT 采用 two-stream 架构，由两个并行的 BERT-st
BERT新转变：面向视觉基础进行预训练| NeurIPS 2019论文解读
AMiner2006的博客
12-26 2127
ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks 论文作者： Jiasen Lu, Dhruv Batra, Devi Parikh, Stefan Lee（佐治亚理工学院、俄勒冈州立大学、Facebook AI Research） 点此进入“论文地...
多模态bert-基于双流的bert 笔记 ViLBert、LXMERT、IMAGEBERT
机器学习专栏
04-10 4455
ViLBert paper: ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks 基于双流的 ViLBERT，在一开始并未直接对语言信息和图片信息进行融合，而是先各自经过 Transformer 的编码器进行编码。分流设计是基于这样一个假设，...
论文阅读问题总结(五)：Task-Agnostic Meta-Learning for Few-shot Learning
qq_32599109的博客
03-23 298
1.本文作者提出了什么问题？ 当前基于梯度的元学习方法(MAML, Reptile)虽然针对模型学习到了可以泛化到不同task的初始化参数，但作者指出学习到的初始化参数并不是针对各个task都可以很好地泛化，对与training task相似的task可以快速泛化且perform well，但对一个与training task相似度较低的new task并不一定能很好地泛化。总而言之学到的初始化参数模型是一个有偏(biased)的模型。 2.针对上述问题，作者提出的解决思路？ 1.outer-loop设计一
视觉-语言双流BERT模型之VilBERT学习笔记
u013895173的博客
04-22 4354
继 2018 年谷歌推出BERT 模型获得巨大成功之后，业界把BERT的思想迁移到视觉、视频任务中的例子越来越多，出现了很多融合的BERT模型。其中，ViLBERT模型是为视觉-语言任务训练非任务专用的视觉语言表征的BERT融合模型。最近，在做文本-视频语义相关性匹配，调研、学习了这篇文章，记录下来学习的笔记，方便后面回顾，温故而知新。 论文作者：Jiasen Lu, Dhruv Batra, D...
论文笔记03
weixin_30245867的博客
09-02 769
目录 1. Scene Graph Generation with External Knowledge and Image Reconstruction 2. Knowledge Acquisition for Visual Question Answering via Iterative Querying Author: 李飞飞 p...
BEVT: BERT Pretraining of Video Transformers –2022cvpr
07-27
C知道: 对于您提到的"BEVT: BERT Pretraining of Video Transformers –2022cvpr"，这似乎是一个标题或者论文的引用。根据引用的信息，它似乎是在2022年的cvpr（计算机视觉与模式识别大会）上介绍的一个名为"BEVT"的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值