《Multi-level Attention Networks for Visual Question Answering》阅读笔记

最新推荐文章于 2023-05-22 14:47:57 发布
最新推荐文章于 2023-05-22 14:47:57 发布
阅读量1.6k 收藏 4
点赞数
分类专栏： 论文阅读笔记 VQA 多模态融合 image text CNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiang6869732/article/details/81532197
版权
本文是关于《Multi-level Attention Networks for Visual Question Answering》的阅读笔记，探讨了如何通过多层注意力机制来解决视觉问答中的语义鸿沟和细粒度空间推理问题。文中介绍了使用深度卷积神经网络进行语义注意力和上下文感知视觉注意力的学习，以及联合注意力学习的方法，实验证明这种方法在两个大型数据集上取得了最佳结果。
摘要由CSDN通过智能技术生成

《Multi-level Attention Networks for Visual Question Answering》阅读笔记

一、研究背景

  1. effective semantic embedding and fine-grained visual understanding；
  2. 人类语言问题以明确的查询意图传达强大的高级语义，而具有数万个像素的真实世界图像则相对低级且抽象，由于众所周知的语义差距，这对深度图像理解提出了巨大的挑战；
  3. 视觉问题回答需要细粒度的空间推理，因为某些答案只能从高度本地化的图像区域推断出“What”和“Where”的问题

二、文章贡献

  1. 我们通过共同学习multi-level attention来解决自动视觉问题回答的挑战，这可以同时减少从视觉到语言的语义鸿沟，并有益于VQA任务中的细粒度推理；
  2. 我们引入了一种新颖的视觉注意空间编码方法，通过双向RNN模型从有序图像区域中提取上下文感知视觉特征

三、实验模型

实验模型

Semantic Attention

  1. 通过深度卷积神经网络训练概念检测器，它可以产生图像的语义概念概率；
最低0.47元/天 解锁文章
论文-《MUREL: Multimodal Relational Reasoning for Visual Question Answering Remi》重点翻译+扩展
Vivinia的博客
10-25 790
论文笔记 Multimodal attentional networks are currently state-of-the-art models for Visual Question Answering (VQA) tasks involving real images. 多模态注意力网络是目前最先进的涉及真实图像的VQA任务模型。 In this paper, we propo...
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
Visual_Question_Answering.pytorch:视觉问答
05-16
视觉问答 该实现遵循“图像字幕和视觉问题解答的自下而上和自上而下注意”（ ）和“视觉问题解答的提示和技巧：从中学到的知识”中描述的VQA系统2017年挑战”（ ）。 结果 模型 验证准确性 训练时间 实施模型（CNN扩展+ BCP） 64.2 40至50分钟（Titan Xp） 使用计算准确性。 实施细节 我们的实现遵循论文的总体结构，但有以下简化： 我们不使用额外数据。 每个图像我们仅使用固定数量的对象（K = 36）。 我们使用一个简单的单流分类器而不进行预训练。 我们使用简单的ReLU激活而不是封闭的tanh。 前两点大大减少了培训时间。 在单个Titan Xp上，我们的实现每个周期大约需要200秒，而本文中描述的实现每个周期需要1个小时。 第三点是因为我们认为原始文档中的两个流分类器和预训练过于复杂，因此没有必要。 对于非线性激活单元，我们尝试了门tanh，
Multi-level Attention Networks for Visual Question Answering论文笔记
bxg1065283526的博客
03-23 956
Abstract 现有方法主要从抽象的低层视觉特征推断答案，而忽略了高层图像语义的建模和丰富的区域空间上下文。为了解决这一问题，作者提出了一个多层次的视觉问题回答注意网络，该网络既可以通过语义注意减少语义鸿沟，并有利于通过视觉注意进行细粒度的空间推理。首先，从卷积神经网络的高层语义中生成语义概念，并选择那些与问题相关的概念作为语义注意。其次，通过双向递归神经网络将CNN的基于区域的中层输出编码成...
【自然语言处理】--视觉问答（Visual Question Answering，VQA）从初始到应用
L先生AI课堂
07-19 7708
一、前述 视觉问答（Visual Question Answering，VQA），是一种涉及计算机视觉和自然语言处理的学习任务。这一任务的定义如下： A VQA system takes as input an image and a free-form, open-ended, natural-language question about the image and produces a n...
Multi-level Attention Networks for Visual Question Answering阅读笔记
qq_38343151的博客
10-28 952
Multi-level Attention Networks 这个模型可以同时提取高级语义信息和空间信息，模型框架如下所示： 该模型分为三个部分，分别是Semantic Attention、Context-aware Visual Attention、Joint Attention Learning。 Semantic Attention 语义注意的工作是从图像中挖掘重要的概念来回答问...
VQA: Visual Question Answering 视觉问答
eisanech的博客
04-09 1万+
论文：Antol S, Agrawal A, Lu J, et al. Vqa: Visual question answering[C]//Proceedings of the IEEE international conference on computer vision. 2015: 2425-2433. 摘要 我们提出了一个自由式和开放式的视觉问答（VQA）任务。通过给定一个图像和一段关于图像的自然语言，这个任务将提供一个精确的自然语言答案。这个任务可以映射到现实生活的场景中：比如说帮助视障人士
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
请查收！顶会AAAI 2020录用论文之自然语言处理篇
语言智能技术笔记簿
02-23 1万+
2020年人工智能顶级会议AAAI录用的自然语言处理领域的研究论文已为您准备就绪，请查收！
Visual Question Answering: A Survey of Methods and Datasets
bxg1065283526的博客
05-22 3232
Abstract 视觉问答（VQA）是一项具有挑战性的任务，已受到计算机视觉和自然语言处理社区的越来越多的关注。给定图像和自然语言的问题，就需要对图像的视觉元素和常识进行推理，以推断出正确的答案。在本调查的第一部分中，我们通过比较解决问题的现代方法来检查最新技术。我们通过它们将视觉和文本模态联系起来的机制对方法进行分类。特别是，我们研究了结合卷积神经网络和递归神经网络将图像和问题映射到公共特征空间的通用方法。我们还将讨论与结构化知识库交互的内存增强型和模块化体系结构。在本调查的第二部分，我们回顾了可...
Visual Question Answering in Tensorflow实战
法相的博客
09-12 561
主要参考：https://github.com/paarthneekhara/neural-vqa-tensorflow 论文地址：https://arxiv.org/abs/1505.02074 开始爬坑： 首先服务器是linux，但是不能连接网络。因此只能在windows下进行。 按照步骤，首先就是获取数据。 坑1：Download the MSCOCO train+val imag...
Visual Question Answering as Reading Comprehension论文笔记
bxg1065283526的博客
03-21 887
Abstract 视觉问答(VQA)要求同时理解图像视觉内容和自然语言问题。在某些情况下，推理需要常识或一般知识的帮助，这些知识通常以文本的形式出现。当前的方法将视觉信息和文本特征共同嵌入到同一空间中。然而，如何模拟两种不同模式之间复杂的相互作用并不容易。与多模态特征融合的努力相反，本文提出用自然语言统一所有输入信息，从而将VQA问题转化为机器阅读理解问题。通过这种转换，不仅可以处理侧重于基于观...
Visual Question Answering概述
lch的博客
07-22 1603
目录任务描述应用领域主要问题主流框架常用数据集Metrics 任务描述 输入：图片III、由nnn个单词组成的问题Q={q1,...,qn}Q=\{ q_1,...,q_n \}Q={q1​,...,qn​} 输出：由mmm个单词组成的问题的答案A={a1,...,am}A=\{ a_1,...,a_m \}A={a1​,...,am​} 应用领域 盲人导航 图灵测试 主要问题 鲁棒性差 模型的鲁棒性差可多个方面体现，如缺乏可解释性、回答不一致等。造成这个问题的原因也是多方面的，如训练集和测试集
Visual Question Answering: Datasets, Algorithms, and Future Challenges文章翻译
bxg1065283526的博客
05-08 1911
Abstract 视觉问答(VQA)是计算机视觉和自然语言处理领域的一个新问题，引起了深度学习、计算机视觉和自然语言处理领域的极大兴趣。在VQA，一种算法需要回答基于文本的图像问题。自2014年第一个VQA数据集发布以来，已经发布了更多数据集，并提出了许多算法。在这篇综述中，我们从问题表述、现有数据集、评估指标和算法等方面批判性地考察了VQA的现状。特别是，我们讨论了当前数据集在正确训练和评估V...
深度学习神经网络学习笔记-多模态方向-09-VQA: Visual Question Answering
CSDNXXCQ的博客
05-22 2216
我们提出了自由形式和开放式视觉问答(VQA)的任务。给定一张图像和一个关于图像的自然语言问题，任务是提供一个准确的自然语言答案。镜像现实场景，比如帮助视障人士，问题和答案都是开放式的。视觉问题有选择地针对图像的不同区域，包括背景细节和底层上下文。因此，在VQA上取得成功的系统通常需要比生成通用图像标题的系统更详细地了解图像和复杂的推理。此外，VQA适合自动评估，因为许多开放式答案只包含几个单词或一组封闭的答案，这些答案可以以多项选择的形式提供。
Attention Model in Visual Question Answering
raquelle的记忆宫殿
10-22 902
注意力机制常常用于Visual Question Answering和Image Caption中，此篇主要介绍VQA中的注意力机制。 《Recurrent Models of Visual Attention》 https://github.com/jlindsey15/RAM https://github.com/kevinzakka/recurrent-visual-attention...
『论文笔记』OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge
Hoshino Ren的博客
10-21 1635
OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge 一句话总结 提出数据集OK-VQA，其中的问题均需要根据外部知识推理才能回答。 导论 Motivation： 现有VQA数据集中的大多数问题不需要逻辑推理或者与外部知识的联系，仅仅是有关数量、视觉属性以及物体检测的简单问题。 Contribution： 本文提出一个 只包含需要外部知识回答的问题 的数据集OK-VQA(Outside Knowledg
Ask Me Anything:Free-form Visual Question Answering Based on Knowledge from External Sources
lsh894609937的专栏
03-16 1471
这篇文章将自动生成的图像描述与一个外部的Knowledge bases相融合，对问题进行预测。图像描述生成主要来自于image captions集，并且从Knowledge bases提取基于文本的外部知识。框架图：    给定图像-问答对，首先利用CNN提取图像的Attributes集合。这些Attributes涉及范围很广，包括object,scenes,action,modifier
论文-《Visual Question Answering as Reading Comprehension Hui》笔记
Vivinia的博客
11-17 481
论文下载 摘要： Visual question answering (VQA) demands simultaneous comprehension of both the image visual content and natural language questions. In some cases, the reasoning needs the help ofcommon sen...
Counterfactual Samples Synthesizing for Robust Visual Question Answering的主要方法
最新发布
06-11
Counterfactual Samples Synthesizing for Robust Visual Question Answering 的主要方法是通过生成反事实样本来提高视觉问答模型的鲁棒性。具体来说，该方法通过对输入图像进行随机扰动，生成一些与原始图像类似但含有不同特征的反事实图像，然后将这些反事实图像与原始图像一起作为训练数据输入模型进行训练。通过这种方法，模型可以学习到哪些特征对分类器决策的影响最大，从而提高其鲁棒性。此外，该方法还使用了一种基于注意力机制的方法来选择生成反事实图像时应该扰动哪些特征，从而提高了反事实图像的多样性和有效性。通过这种方法，Counterfactual Samples Synthesizing for Robust Visual Question Answering 能够提高视觉问答模型的鲁棒性，使其在更广泛的环境和场景下表现更好。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>