LXMERT 实验

最新推荐文章于 2024-08-10 07:59:45 发布
最新推荐文章于 2024-08-10 07:59:45 发布
阅读量1.7k 收藏 3
点赞数 1
分类专栏： 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mr_zhuo_/article/details/106813081
版权

论文： Learning Cross-Modality Encoder Representations from Transformers 

地址：https://arxiv.org/abs/1908.07490?context=cs

code：https://github.com/airsplay/lxmert

 

LXMERT 框架来学习语言和视觉的联系

创新点：创造新的跨模态模型，着重于学习视觉和语言的交互作用。

 

  • Input Embeddings

在LXMERT中的输入编码层将输入（即图像和句子）转换为两个特征序列：词级句子嵌入和对象级图像嵌入。

这些嵌入特性将由后面的编码层进一步处理。

 

  • 它含有3个Encoder：一个对象关系编码器 N_R 、一个语言编码器 N_L 和一个跨模态编码器 N_X

 

 

  • 它使用了 5 个不同的有代表性的pre-train任务：
  1. 掩码交叉模态语言建模
  2. 通过ROI特征回归进行掩码目标预测
  3. 通过检测到的标签分类进行掩蔽目标预测
  4. 交叉模态匹配
  5. 图像问题解答

这些多模态pre-train既可以帮助学习同一个模态内的联系，也可以帮助学习跨模态的联系。

 

Fine Tune

https://www.jianshu.com/p/4b17dcc199e1

Google Bert模型

https://zhuanlan.zhihu.com/p/46652512

 

Miss_zhuo_
关注
专栏目录
lxmert:learning cross-modality encoder representations from transformers
liguandong
06-20 1076
LXMERT: Learning Cross-Modality Encoder Representations from Transformers 论文笔记_小有名气的可爱鬼的博客-CSDN博客视觉 - 语言推理需要对视觉概念、语言语义有一定的理解，尤其还需要能在这两个模态之间进行对齐、找到关系。作者们提出了 LXMERT 框架来学习这些语言和视觉的联系，它含有三个编码器：一个对象关系编码器、一个语言编码器和一个跨模态编码器。为了让模型具备联系视觉和语言语义的能力，使用了 5 个不同的有代表性的预训练任务：
2019LXMERT：Learning Cross-Modality Encoder Representations from Transformers
weixin_42653320的博客
07-23 351
摘要 视觉-语言推理不仅需要视觉概念、语言语义的理解，更需要这两个模态的对齐和关系。因此，我们提出LXMERT(从Transformers中学习跨模态编码器表示)框架来学习视觉和语言的连接。在LXMERT中，我们构建了一个大规模的Transformer模型包含三个编码器：一个对象关系编码器、一个语言编码器和一个跨模态编码器。接下来，为了赋予我们模型连接视觉和语言语义的能力，我们通过五种不同的预训练任务(掩码语言建模、掩码对象预测(特征回归和标签分类)、跨模态匹配和图像问答)，用大量图像和句...
【论文笔记】LXMERT: Learning Cross-Modality Encoder Representations from Transformers
gjh1716718326的博客
12-21 1048
Vision-and-language reasoning requires an understanding of visual concepts, language semantics, and, most importantly, the alignment and relationships between these two modalities. 做视觉文本的理解任务，需要模型能理解视觉概念和文本语义信息，但最重要的是视觉和文本的对齐问题。 数据库：VQA GQA NLVR .
【论文】LXMERT
Aries_young的博客
10-11 681
【论文】Tan, Hao, and Mohit Bansal. Lxmert: Learning cross-modality encoder representations from transformers. （pdf） Why is LXMERT 和 ViLBERT 一样，LXMERT 主要也是为了解决两种模态的之间没有交互的问题。在 LXMERT 中作者通过 3 种编码器的叠加构建了一个大型的 transformer 模型，这三个编码器分别为：对象关系编码器，语言编码器和跨模态编码器。同时，作.
LXMERT 项目使用教程
最新发布
gitblog_00724的博客
08-10 341
LXMERT 项目使用教程 lxmertPyTorch code for EMNLP 2019 paper "LXMERT: Learning Cross-Modality Encoder Representations from Transformers".项目地址:https://gitcode.com/gh_mirrors/lx/lxmert 1. 项目的目录结构及介绍 LXMERT 项目...
我们的EMNLP 2019论文“ LXMERT”的PyTorch代码-Python开发
05-25
LXMERT：从变压器学习跨模态编码器表示形式LXMERT：从变压器学习跨模态编码器表示形式重要：由于我们小组发生URL地震，因此需要替换以前的链接。 我尽力挽救这份文件中的所有生命。 如果您发现任何链接不可用，请立即与我联系。 谢谢。 简介EMNLP 2019论文“ LXMERT：从变压器学习跨模态编码器表示形式”的PyTorch代码。 我们的EMNLP 2019演讲的幻灯片可在此处查看。 到肛门
【实践记录】在pytorch中使用LXMERT中预训练好的特征
weixin_42636127的博客
08-12 1084
【实践记录】在pytorch中使用LXMERT中预训练好的特征Analogical Learning新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 Analogical Learning 你好！ 这是你第一次使用 Mark
浅读LXMERT: Learning Cross-Modality Encoder Representations from Transformers
weixin_45347379的博客
12-28 1099
这篇文章提出的模型在视觉问答（VQA，GQA）上得到了最好的结果，甚至今年后续以此为基础或对照的的文章都没有超越这个结果。论文中很多地方提到这一方法是用到了BERT模型的方法（BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding） 参考博客：博客 直接上图， 从图中可以看到，模型整体流程并不难懂，首先是得到视觉和文本的嵌入，然后先进行单模态的自注意编码（这里似乎没有加入跨模态的门机制进行自注意，.
从Transformers学习跨模态编码器表示《LXMERT: Learning Cross-Modality Encoder Representations from Transformers》
xiashilin的博客
02-04 7021
目录 一、文献摘要介绍 二、网络框架介绍 三、实验分析 四、结论 这是视觉问答论文阅读的系列笔记之一，本文有点长，请耐心阅读，定会有收货。如有不足，随时欢迎交流和探讨。 一、文献摘要介绍 Vision-and-language reasoning requires an understanding of visual concepts, language semantics, an...
EMNLP 2019 LXMERT: Learning Cross-Modality Encoder Representations from Transformers
smile909的博客
04-20 399
动机 视觉语言推理要求对视觉内容、语言语义以及跨模态的对齐和关系进行理解。过去已有大量的工作，分别开发具有更好的表示方法的骨干模型，用于语言和语音的单一模态。对于现有的视觉内容，人们已经开发了几个骨干模型，并在大型视觉数据集上显示了它们的有效性。开拓性工作还通过在不同任务上微调这些预训练的（特别是在ImageNet上）骨干模型来显示它们的泛化性。在语言理解方面，去年，本论文在构建具有大规模语境化语言模型预训练的通用背骨模型方面取得了强劲进展，这将各种任务的性能提高到了显著水平。尽管有这些影响较大的单模态研究
LXMERT：视觉语言跨模态框架
weixin_51697828的博客
07-22 2407
视觉语言推理要求模型能够理解视觉概念和语言语义，以及两者之间的关系，并将他们对齐。因此，作者提出了LXMERT框架来用学习视觉语言之间的关系。在LXMERT中，作者建立了一个大规模Transformer模型，它有三个编码器：对象关系编码器、语言编码器和跨模态编码器。为了使LXMERT能够将视觉概念和语言语义关联起来，作者利用掩码语言建模、掩码目标预测、跨模态匹配、图像问答等预训练任务，在大量“图像句子对”数据集上对模型进行了预训练。这些任务有助于模型学习模态内部和模态之间的关系。作者对LXMERT的预训练参
lxmertcatt
03-08
最重要的事情。 我们的代码是根据以下内容开发的： LXMERT：从变压器学习跨模态编码器表示形式（ ） 这是他们的自述文件。 在几个截止日期之后，我将更新我们的。 介绍 EMNLP 2019论文PyTorch代码。 我们的EMNLP 2019演讲的幻灯片可。 要分析预训练模型的输出（而不是对下游任务进行微调），请加载权重https://nlp1.cs.unc.edu/data/github_pretrain/lxmert20/Epoch20_LXRT.pth在部分中进行。 的默认权重是通过与此代码稍有不同的协议来训练的。 结果（使用此Github版本） 分裂 本地验证 69.90％ 59.80％ 74.95％ 测试开发 72.42％ 60.00％ 74.45％（测试P） 测试标准 72.54％ 60.33％ 76.18％（Test-U） 表中的所有结果都是使用此代
LXMERT: Learning Cross-Modality Encoder Representationsfrom Transformers
pinkshell_1314的博客
12-19 691
LXMERT:学习Transformer的跨模态编码器表示
LXMERT:从Transformers学习跨模态编码器表示LXMERT: Learning Cross-Modality Encoder Representations from Transfors
欢迎交流！
06-10 2062
视觉和语言推理需要理解视觉概念、语言语义，以及最重要的是，这两种模式之间的对齐和关系。因此，原论文提出了LXMERT（从Transforms学习跨模态编码器表示）框架来学习这些视觉和语言连接。在LXMERT中，原论文构建了一个大型转换器模型，该模型由三个编码器组成：对象关系编码器、语言编码器和跨模态编码器。接下来，为了赋予模型连接视觉和语言语义的能力，原论文通过五个不同的代表性预训练任务，使用大量图像和句子对模型进行预训练：masked语言建模，masked对象预测（特征回归和标签分类），跨模态匹配和图像问
LXMERT:Learning Cross-Modality Encoder Representations from Transformers
qq_56551150的博客
12-13 233
针对视觉和语言模态对的大规模预训练和微调的模型。
探秘LXMERT：跨模态预训练的利器
gitblog_00031的博客
04-25 331
探秘LXMERT：跨模态预训练的利器 lxmertPyTorch code for EMNLP 2019 paper "LXMERT: Learning Cross-Modality Encoder Representations from Transformers".项目地址:https://gitcode.com/gh_mirrors/lx/lxmert 在当前AI领域，跨模态学习已经成为研...
LXMERT: Learning Cross-Modality Encoder Representations from Transformers
连理o的博客
01-03 1142
目录Model ArchitecturePre-Training StrategiesExperimental Setup and ResultsReferences LXMERT: Learning Cross-Modality Encoder Represen-tations from Transformers Model Architecture Input Embeddings: input embedding layers 负责将 sentence 和 image 分别转化为 word-l
lxmert部分代码的一点理解
冬炫的博客
05-11 1939
代码连接：https://github.com/airsplay/lxmert 从训练vqa的命令看齐
多模态视觉语言模型有那些主流框架
03-01
多模态视觉语言模型是一种能够同时处理图像和文本的模型。目前有几个主流的框架用于构建多模态视觉语言模型，包括： 1. ViLBERT（Vision-and-Language BERT）：ViLBERT是由微软研究院提出的一种多模态预训练模型。它通过联合训练图像和文本任务来学习视觉和语言之间的关联。 2. LXMERT（Learning Cross-Modality Encoder Representations from Transformers）：LXMERT是由美国南加州大学提出的一种多模态预训练模型。它使用Transformer网络结构来编码图像和文本，并通过联合训练来学习视觉和语言之间的交互表示。 3. UNITER（UNiversal Image-TExt Representation）：UNITER是由华为诺亚方舟实验室提出的一种多模态预训练模型。它使用Transformer网络结构来编码图像和文本，并通过联合训练来学习视觉和语言之间的共享表示。 4. VisualBERT：VisualBERT是由美国斯坦福大学提出的一种多模态预训练模型。它将图像和文本输入到同一个Transformer网络中，并通过联合训练来学习视觉和语言之间的关联。 5. OSCAR（Object-Semantics Aligned Pre-training）：OSCAR是由Facebook AI提出的一种多模态预训练模型。它使用Transformer网络结构来编码图像和文本，并通过联合训练来学习视觉和语言之间的对齐表示。 这些主流框架都在多模态视觉语言理解任务中取得了很好的效果，并且在图像描述生成、视觉问答等任务上有广泛的应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值