ViLBERT:视觉-语言任务预训练模型

最新推荐文章于 2024-07-13 04:30:00 发布
最新推荐文章于 2024-07-13 04:30:00 发布
阅读量812 收藏 2
点赞数 1
文章标签： 自然语言处理 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46569877/article/details/121343276
版权
本文介绍了ViLBERT模型，一个基于BERT思想的视觉-语言预训练模型，用于解决跨模态任务。文章讨论了预训练的重要性，详细描述了ViLBERT的双流结构和训练任务，并展示了在多个下游任务如VQA、VCR等中的优秀表现。
摘要由CSDN通过智能技术生成

ViLBERT:视觉-语言任务预训练模型

原文链接：论文原文

什么是预训练？

预训练的提出可以很好的应用迁移学习。预训练的过程如小孩子读书，开始的时候把语文、数学、化学、物理、生物、历史都同时进行学习，脑子中积攒了很多知识。这样当他学习计算机的时候，可以在学习过程中应用到这些知识，但是如果之前没有上过小学，突然开始学习计算机就可能不懂其中有什么道理，这就和预训练的模型一样，预训练模型相当于人类的语言知识，人们通过学习某个东西，之后再代入到具体的任务中，之后就可以得心应手。

为什么要做预训练？

自然语言处理，目的是使计算机具备人类的听、说、读、写、译、问、答、搜索、摘要、对话、聊天等基本能力，并且可以通过利用知识和常识进行推理，最终可以应用于客服、诊断、法律等重要场景。预训练模型，使自然语言处理由原来的手工调参、依靠ML专家的阶段，进入到可以被用来进行大规模应用、可复制的工业应用的阶段。预训练模型也由单语言拓展到了多语言、多模态任务。预训练通过自监督学习从大规模数据中获得与具体任务无关的预训练模型，之后的操作是进行微调，以便于用于分类、序列标记、结构预测、序列生成等各项技术，应用于构建摘要、机器翻译、图片检索、视频注释等各种应用。

动机

预训练+迁移学习是深度学习研究中常用的方法，在一个较大的数据集上预训练一个模型，完成下游任务时也可以使用该模型，并且对参数进行微调即可，这样可以大大缩短训练时间。计算机视觉领域通用的预训练模

最低0.47元/天 解锁文章
精分天秤座的mystery
关注
awesome-vision-language-pretraining-papers:视觉和语言预训练模型（VL-PTM）的最新进展
04-22
视觉和语言预训练模型（VL-PTM）的最新进展 由（ ）维护。 2021/02/26的最新更新。 目录 基于图像的VL-PTM 表征学习 预训练不可知视觉语言表示法，NeurIPS 2019 [代码] LXMERT：从变压器学习跨模态编码器表示法，EMNLP 2019 [代码] VL-BERT：通用视觉语言表示的预训练，ICLR 2020 [代码] VisualBERT：视觉和语言的简单而高性能的基准，arXiv 2019/08，ACL 2020 [代码] Unicoder-VL：跨模式预训练的视觉和语言通用编码器，AAAI 2020 用于图像字幕和VQA的统一视觉语言预训练，AAAI 2020， [code] ，（ VLP ） 单元：学习通用图像文本表示形式，ECCV 2020， [代码] 弱监督有助于词对象对齐的出现并改善视觉语言任务，arXiv 2019/12 In
综述 | 最新视觉-语言预训练综述
zenRRan的博客
03-03 600
每天给你送来NLP技术干货！来自：人工智能前沿讲习论文标题：VLP: A Survey on Vision-Language Pre-training论文链接：https://arxiv....
# 论文阅读笔记28：多模态BERT
最新发布
mohen_777的博客
07-13 649
VisualBERT这篇文章看起来还是比较粗糙的，很多设计上都基本照搬了BERT，只不过把数据集改成了多模态的，并且把图像引入到了模型的架构中。而后面两片VL-BERT和ViLBERT逐渐提出了更复杂的预训练任务/模型架构和下游任务。区别VisualBERTVL-BERTViLBERT模型架构单流模型单流模型双流模型预训练任务都使用了掩码语言模型，VisualBERT没有使用目标预测任务对输入图片预先进行了掩码处理，但是没有使用跨模态匹配任务，因为论文任务这个任务是无效的。
视觉-语言预训练模型综述
寸先生的AI道路
03-14 8075
Li F, Zhang H, Zhang Y F, et al. Vision-Language Intelligence: Tasks, Representation Learning, and Large Models[J]. arXiv preprint arXiv:2203.01922, 2022. 按照时间顺序将VLP模型分为三个阶段：特定任务的方法，视觉语言预训练(VLP)方法，以及由大规模弱标记数据加持的更大的模型三大类。 第一阶段：特定任务方法 三类主流任务：Image Captioni
ViLBERT：视觉语言多模态预训练模型
weixin_51697828的博客
07-22 1151
ViLBERT (Vision-and-Language BERT)是一个视觉语言预训练模型，用于学习任务无关的图像内容和自然语言的联合表征。作者将流行的BERT架构扩展成一个双流多模态模型，可以在两个独立流中分别处理视觉和文本输入，并通过共同注意力transformer层进行交互。作者利用两个代理任务，在自动收集的大型Conceptual Captions数据集上对模型进行预训练，然后对其基础架构稍作调整便迁移到现有视觉语言任务上——视觉问答(VQA，Visual Question Answering)、
【自然语言处理】【多模态】多模态综述：视觉语言预训练模型
bqw的博客
07-09 6514
多模态预训练模型综述、模型结构、损失函数、下游任务、CLIP
vilbert-multi-task:多任务视觉和语言
05-03
代码和预训练模型： @InProceedings{Lu_2020_CVPR, author = {Lu, Jiasen and Goswami, Vedanuj and Rohrbach, Marcus and Parikh, Devi and Lee, Stefan}, title = {12-in-1: Multi-Task Vision and Language ...
视觉理解论文系列(四)ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Languag
csdn_tclz的博客
11-02 2582
摘要 本篇论文的作者来自于佐治亚理工学院、俄勒冈州立大学、Facebook AI 研究院。本文提出ViLBERT(Vision-and-Language BERT)，该模型用来学习任务无关的图像和自然语言联合表征。ViLBERT在BERT的基础上拓展为多模态的双流模型，在各自的流中处理图像和文本输入，这两个流通过Co-attention transformer层进行交互。ViLBERT应用到下游任务时仅需对基础架构进行少量的调整，实验结果表明本文的ViLBERT在4个下游任务中显著优于面向特定任务的最先进模
CVPR 2019 ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language
smile909的博客
04-17 890
动机 现存方法的两大局限性： 视觉理解任务使用的主要策略是先基于其他大规模任务分别预训练视觉和语言模型，然后将其作为具体任务的一部分基础知识。然而，1）这种方案学习到的基础知识并不牢靠，当visiolinguistic data有限或者有偏时(biased)，模型的泛化能力很差。此外，2）在单模态数据上学习的近乎完美的表征，往往忽略了与其他模态之间的联系。比如，即使狗品种分类的视觉表征是完美的，但在下游任务中模型若无法将该视觉表征与形如"小猎犬"或"牧羊人"这样的近似短语进行关联，这种完美的视觉表征也是近乎
TPAMI 2024 | 增强视觉-语言预训练中的视觉定位与位置引导文本提示
小白学视觉
05-30 103
视觉-语言预训练（VLP）在图像和文本对齐方面展示了巨大的潜力，为广泛的跨模态学习任务铺平了道路。然而，我们观察到 VLP 模型在视觉定位和局部化能力方面经常表现不佳，而这些能力对许多下游任务，如视觉推理，至关重要。为此，我们提出了一种新颖的位置引导文本提示（PTP）范式，以增强使用 VLP 训练的跨模态模型的视觉定位能力。在 VLP 阶段，PTP 将图像划分为N×NN \times NN×N块，并使用广泛使用的目标检测器来识别每个块中的目标。
【论文笔记】ViLBERT:Pretraining Task-Agnostic VisiolinguisticRepresentations for Vision-and-Language Tasks
m0_58678659的博客
03-21 2633
ViLBERT 统一多模态的新 BERT 预训练模型
视觉与文本多模态模型-ViLBERT
zephyr_wang的博客
09-11 1280
1 简介 本文根据2019年《ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks》翻译总结的。主要是同时处理视觉和文本输入，多模态模型。 ViLBERT ( Vision-and-Language BERT)，我们将流行的BERT模型扩展到多模双流模型，首先以分别独立的流来处理视觉和文本输入，然后通过co-attentional transformer相互作用。 2
【深度学习】视觉-语言预训练入门指南
fengdu78的博客
02-02 610
Datawhale干货作者：张义杰 单位：中国移动云能力中心前言视觉-语言 (Vision-Language, VL) 是计算机视觉和自然语言处理这两个研究领域之间形成的交叉领域，旨在赋予 AI 系统从多模态数据中学习有效信息的能力。受 NLP 预训练语言模型（如BERT\GPT等）的启发，视觉-语言预训练 (Vision-Language Pre-training, VLP) 逐渐受到关注，...
Prevalent：视觉语言导航预训练模型
weixin_51697828的博客
07-23 308
在视觉环境中按照自然语言指令进行导航是一项挑战，因为智能体的多模态输入是高度可变的，并且新任务的训练数据通常是有限的。作者针对视觉语言导航(Vision-and-Language Navigation，VLN)任务，提出了遵循预训练和微调范式的VLN模型Prevalent。作者在大量图像-文本-动作三元组数据集上对模型进行了自监督预训练，使其能够提供视觉环境和语言指令的通用表示。Prevalent在新任务上的学习效率更高，在陌生环境中的泛化性能更好。作者在R2R(Room-to-Room)、CVDN(Coo
ViLBERT——BERT多模态开山之作
weixin_72914660的博客
01-22 1466
BERT多模态开山之作——如何同时处理图像-文本信息？快来看它
通用视觉预训练大模型巡礼系列（一）：UFO大模型
Paper weekly
01-17 953
©PaperWeekly 原创 ·作者 |张燚钧单位 |中国移动云能力中心研究方向 |预训练大模型近来，以 ChatGPT 为代表的自然语言对话大模型，以及以 Stable Diffusion 为代表的多模态文图生成大模型展现出惊艳的效果。而面向视觉领域的通用视觉模型相对来说似乎略显冷清。事实上，从 2021 年商汤联合上海人工智能实验室发布“书生”通用视觉体系以及在 2022 年世界人工...
全站最全OAK计算机视觉（CV）预训练模型汇总（持续更新）
oakchina的博客
04-10 882
编辑：OAK中国 来源：oakchina.cn 版权说明：转载请注明出处 前言 Hello，大家好，这里是OAK中国，我是助手君。 我们整理了8大类CV预训练模型，累计200+模型，可用在OAK上。下载地址 1.对象检测模型 2.对象识别模型 3.其他识别模型 4.分割模型 5.人类姿态估计演示 6.图像类 7.文本类 8.分类模型 参考资料 https://docs.oakchina.cn/en/latest/ https://www.oakchina.cn/selection-gui.
VL综述：视觉-语言智能:任务、表征学习、大模型
qq_45331246的博客
09-18 2394
多模态综述
VALSE：评估视觉与语言模型理解语言现象的能力
在V&L领域的研究中，预训练模型如BERT、ViLBERT、LXMERT等已经在图像 captioning、Visual Question Answering (VQA)、Image Retrieval等任务上取得了突破性进展。然而，这些模型是否真正理解和掌握了语言的基本结构...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值