Trends in Integration of Vision and Language Research: A Survey of Tasks, Datasets, and Methods

最新推荐文章于 2022-10-21 16:12:33 发布
最新推荐文章于 2022-10-21 16:12:33 发布
阅读量980 收藏 2
点赞数
分类专栏： vision&language
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ampulla_boliping/article/details/116590221
版权
本文概述了视觉与语言集成领域的最新进展，包括视觉描述生成、视觉叙事、视觉问答、视觉对话和视觉推理等任务，以及相关的数据集和评价指标。此外，还讨论了未来的研究方向，如利用外部知识、解决大规模数据限制和新型神经架构的发展。
摘要由CSDN通过智能技术生成

Tasks

Visual Description Generation

Image Description Generation

Standard Image Description Generation

Dense Image Description Generation：旨在局部目标处生成描述

Image Paragraph Generation：生成段落

Spoken Language Image Description Generation：变写为说

Stylistic Image Description Generation：添加语言风格，例如幽默，

Unseen Objects Image Description Generation：

Diverse Image Description Generation：

Controllable Image Description Generation: control and select the objects in an image to generate descriptions. 

Video Description Generation

Global Video Description Generation: 

Dense Video Description Generation: 类似与Dense Image Description Generation

Movie Description Generation: movie clips are used as input

Visual Storytelling

Image Storytelling:

Video Storytelling:

Visual Question Answering

Image Question Answering

Video Question Answering

Visual Dialog

Image Dialog

Video Dialog

Visual Reasoning

Image Reasoning

Video Reasoning

Video Referring Expression

Image Referring Expression

Video Referring Expression

Visual Entailment

Image Entailment

Language-to-Vision Generation

Language-to-Image Generation
Sentence-level Language-to-Image Generation

Image Manipulation（图像编辑）：生通过本文来引导图像的编辑, 同时保持其他文本不相关的区域，另一种方法是交互式的修改图像内容，还有一种是通过对话修改。

Fine-grain Image Generation（细粒度的图像生成）：

Sequential Image Generation（序列图像生成）：给定一段文字（多个句子），生成一系列的图像，就像故事的可视化，与image storytelling相反。

Language-to-Video Generation

需要更强的条件生成器，因为需要考虑时间维度

Vision-and-Language Navigation

Image and Language Navigation

Multimodal Machine Translation

Machine Translation with Image：将描述一副图像的源语言句子翻译成目标语言。

Multisource MMT：不同点：多种语言同时描述一副图像

Machine Translation with Video

Dataset

Image Description Generation

  • Flickr
最低0.47元/天 解锁文章
Trends in Integration of Knowledge and Large Language Models
c_cpp_csharp的专栏
12-19 98
大型语言模型（LLM）在各种自然语言任务上表现出优异的性能，但它们容易受到过时数据和特定领域限制所带来的问题的影响。为了应对这些挑战，研究人员采用了两种主要策略，即知识编辑和检索增强，通过整合来自不同方面的外部信息来增强LLM。尽管如此，仍然明显缺乏全面的调查。在本文中，我们提出了一个综述来讨论知识和大型语言模型集成的趋势，包括方法的分类、基准和应用程序。此外，我们对不同的方法进行了深入分析，并指出了未来潜在的研究方向。我们希望这项调查能为社区提供对这一研究领域的快速访问和全面概述，以激励未来的研究努力。
论文笔记_SLAM_Simultaneous Localization And Mapping: A Survey of Current Trends in Autonomous Driving
惊鸿一博
03-02 1766
论文基本信息 出处：IEEE Transactions on Intelligent Vehicles (目前未进SCI) 年份：2017 作者：Guillaume Bresson, Zayed Alsayed, Li Yu and Sebastien Glaser Guillaume Bresson：Universite Blaise Pascal (UBP), France Li...
直播预告|ACL 2022：视觉语言导航：对于任务、方法和未来方向的调研
AI_Drive的博客
04-02 376
​「AI Drive」是由 biendata 和 PaperWeekly 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。 本期 AI Drive，我们邀请到加州大学圣克鲁兹分校的在读博士生-古静，为大家在线解读其发表在 ACL 2022的最新研究成果：视觉语言导航：对于任务、方法和未来方向的调研。对本期主题感兴趣的小伙伴，4 月 7 日（周四）晚 7 点，我们准时...
#今日论文推荐# ACL 2022：梳理视觉语言导航的任务、方法和未来方向|AI Drive
w1hsxn的博客
05-18 396
#今日论文推荐# ACL 2022：梳理视觉语言导航的任务、方法和未来方向|AI Drive 近几年极为热门的研究方向视觉语言导航（Vision-and-Language Navigation，VLN）发展迅速。 今天的分享的ACL 2022论文是对视觉语言导航领域做了一个系统的综述，回顾了VLN的任务、数据集、评测机制和方法等，并对未来方向做出了展望。 本期AI Drive，我们邀请到加州大学圣克鲁兹分校的在读博士生-古静，为大家在线解读其发表在ACL 2022的最新研究成果。 古静，加州大学圣克
VLN阅读报告1：Vision-and-Language Navigation综述（2022ACL）
weixin_45347379的博客
10-21 4652
VLN综述阅读报告（2022ACL）
DownloadConceptualCaptions:高效可靠地下载数百万个图像
05-19
下载概念字幕数据 将来自以下位置的数据放在以下文件夹中： : Train_GCC-training.tsv训练分组（3,318,333） Validation_GCC-1.1.0-Validation.tsv验证拆分（15,840） 测试分割（〜12,500）个人认可的图像标题对不公开。 运行download_data.py 图像将位于training和validation文件夹中。 您可以停止然后继续，将下载分为多个块/线程的设置不是最佳的，但是它使我的连接最大，因此我将它们保持原样。 注意：此脚本的先前版本使用了不同的文件命名方案，但此更改已更改，如果您要恢复先前开始的下载，则会得到重复的文件。 其中许多将无法下载，而是返回网页。 这些将需要稍后清理。 downloaded_validation_report.tsv后，请查看downloaded_validation
Simultaneous Localization And Mapping: A Survey of Current Trends in Autonomous Driving综述
何必浓墨重彩
04-26 6321
Abstract In this article, we propose a survey of the Simultaneous Localization And Mapping field when considering the recent evolution of autonomous driving. The growing interest regarding self-drivi...
每周论文精读04——A Survey on 3D Hand Pose Estimation: Cameras, Methods, and Datasets
Jason_____Wang的博客
03-29 5147
论文精读——A Survey on 3D Hand Pose Estimation: Cameras, Methods, and Datasets 本周所进行精读的一篇文章是手势估计领域的一篇综述文章，由浙江大学撰写与2019年发表在PR期刊上，篇幅较长，内容丰富，比较详细的综述了自2010年Kitnet 问世以来对于手势估计的应用与研究。 废话不多说，进入正文部分了： #####################################################################
Networked Control Systems A Survey of Trends and Techniques
03-18
"Networked Control Systems A Survey of Trends and Techniques" 在工业自动化和智能系统领域中，Networked Control Systems（网络化控制系统）是一种基于计算机网络的控制系统。它将传感器、执行器和控制器连接...
Visual Reasoning(1): CLEVR Dataset
judgechen1997的博客
06-14 3793
CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning 这项工作是Visual Reasoning领域的开山之作了~ 李飞飞&FAIR构建了一个新的Reasoning dataset, CLEVR: https://cs.stanford.edu/people/jcjohns/clevr/ 现在的模型很多是直接给出一个答案，而没有中间的推理过程，这使得人们很难分析模型的缺陷，究竟是哪
重磅 | 李飞飞最新演讲：ImageNet后，我专注于这五件事——视觉理解、场景图，段落整合、视频分割及CLEVR数据集
AI科技大本营
10-26 7952
2017中国计算机大会（CNCC2017）于10月26日在福州海峡国际会展中心开幕，大会为期3天。 而就在今天上午，李飞飞、沈向洋、汤道生、马维英等重磅大咖纷纷登台演讲。 据悉，斯坦福大学人工智能实验室和视觉实验室主任李飞飞此前已被邀请两届，今年终于来参会，带来了其实验室的最新研究成果——实时视频描述。李飞飞从5.4亿年前的寒武纪大爆发开始讲起，强调了视觉是智能
模型实践｜ CLIP 模型
热门推荐
weixin_66945478的博客
03-28 1万+
CLIP(Contrastive Language-Image Pre-Training，以下简称 CLIP) 模型是 OpenAI 在 2021 年初发布的用于匹配图像和文本的预训练神经网络模型，可以说是近年来在多模态研究领域的经典之作。该模型直接使用大量的互联网数据进行预训练，在很多任务表现上达到了目前最佳表现（SOTA）💯。
概念字幕：图像字幕制作的新数据集和挑战
Google_Developer的博客
09-17 581
文 / Google AI 软件工程师 Piyush Sharma 和研究员 Radu Soricut 来源 | 谷歌开发者 公众号 网络上有数十亿张图像，这有助于大众娱乐，以及向世界展示无数种主题。然而，对于有视觉障碍或由于网速太慢而无法加载图片的人士来说，其中很多视觉信息都无法获取。网站作者通过 Alt-text HTML 手动添加图像字幕，使更多人可以获取这些内容，然后我们可以使用文字转语音...
跨模态预训练
Hello World
12-11 3677
1.LXMERT，LXMERT: Learning Cross-Modality Encoder Representations from Transformers[EMNLP2019]。[code]（https://github.com/airsplay/lxmert）
VLP: A Survey on Vision-Language Pre-training 论文总结
yingdajun的博客
03-30 4706
VLP: A Survey on Vision-Language Pre-training VLP：视觉语言预训练研究综述 论文地址: https://arxiv.org/pdf/2202.09061.pdf 摘要: 在过去几年中，训练前模型的出现将计算机视觉（CV）和自然语言处理（NLP）等单峰领域带入了一个新时代。大量工作表明，它们有利于下游单峰任务，避免从头开始训练新模型。那么，这种预先训练好的模型可以应用于多模式任务吗？研究人员已经探索了这个问题，并取得了重大进展。本文综述了视觉语言预训练（VLP）
论文：Improving One-stage Visual Grounding by Recursive Sub-query Construction
m0_38064230的博客
11-22 680
作者 摘要 We improve one-stage visual grounding by addressing current limitations on grounding long and complex queries. Existing one-stage methods encode the entire language query as a single sentence embedding vector,e.g., taking the embedding from BERT or
【论文笔记】Exploring and Distilling Posterior and Prior Knowledge for Radiology Report ... (CVPR 2021)
Kqp12_27的博客
05-08 1745
【论文笔记】Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation (CVPR 2021) 论文原文：https://arxiv.org/pdf/2106.06963.pdf 参考：https://blog.csdn.net/qq_45645521/article/details/123493075 先验知识：这些柿子红了，肯定已经熟了 后验知识：我刚刚吃了柿子，已经熟透了  
Look Before You Leap: Bridging Model-Free and Model-Based Reinforcement Learning
零食的csdn博客
03-05 470
Look Before You Leap: Bridging Model-Free and Model-Based Reinforcement Learning for Planned-Ahead Vision-and-Language Navigation，ECCV 2018 Abstract 翻译：现在的基于视觉和语言定位的机器人导航研究，大多关注在合成环境中提高model-free深度强...
Image Paragraph论文合辑
weixin_30553777的博客
12-03 444
A Hierarchical Approach for Generating Descriptive Image Paragraphs (CPVR 2017) Li Fei-Fei. 数据集地址: http://cs.stanford.edu/people/ranjaykrishna/im2p/index.html Workflow: 1.decompose the input im...
deep multimodal learning a survey on recent advances and trends
最新发布
08-11
深度多模态学习是一种研究方法，它将多个模态（例如语音、图像、视频等）的信息进行融合和学习。近年来，深度多模态学习取得了许多重要进展和趋势。 在多模态学习中，深度神经网络在特征提取和模态融合方面发挥了重要作用。通过深度网络的层次处理，可以有效地从原始模态数据中提取出高层次的语义特征。同时，多模态数据的融合也成为研究热点。不同模态之间的关联信息可以通过深度多模态网络进行学习和利用，提高了模型的性能。 近年来，深度多模态学习在不同领域取得了一系列重要的研究成果。在自然语言处理领域，多模态问答系统、图像字幕生成和视觉问答等任务得到了广泛研究。在计算机视觉领域，通过融合多个模态的信息，如图像和语音，可以实现更准确的物体识别和行为分析。在语音识别和语音合成领域，多模态学习也被用来提高语音处理的性能。 同时，一些趋势也值得关注。首先，多模态学习的应用正在不断扩展到更多领域，如医疗、机器人和智能交通等。其次，深度多模态学习和其他深度学习技术的结合也被广泛研究，以提高模型的性能和泛化能力。此外，深度多模态学习在大规模数据和计算资源方面的需求也值得关注。 总之，深度多模态学习是一个充满潜力和挑战的研究方向。随着技术的不断发展和应用需求的增加，我们有理由相信，深度多模态学习将在未来发挥更重要的作用。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>