论文笔记:Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answeri

最新推荐文章于 2024-03-18 20:09:45 发布
最新推荐文章于 2024-03-18 20:09:45 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： 深度学习 论文笔记 计算机视觉 自然语言处理 文章标签： 人工智能 VQA 图像处理 自然语言处理 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zdcs/article/details/54882559
版权
Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering
Huijuan Xu and Kate Saenko

Department of Computer Science, UMass Lowell, USA hxu1@cs.uml.edu, saenko@cs.uml.edu

arXiv:1511.05234v2  [cs.CV]  19 Mar 2016


摘要:

在VQA和NIC以往的方法中，一般是基于CNN+RNN, 但没有考虑对空间信息推导建模。

为了弥补这个不足，本文提出了空间记忆网络 Spatial Memory Network 用于VQA任务。

记忆网络是带有精确注意力机制的RNN，该注意力机制选择信息的若干部分存储。

本文的SMN存储来自图像不同空间区域的'神经元刺激'到记忆中，并用问题选择相关图像区域来计算答案，这个过程构成了网络中的一跳hop

本文提出一种新的空间注意力架构，在第一'跳'时对齐词和图像小块，通过增加第二个注意力'跳'来改进结果，第二跳基于第一跳的结果并考虑整个问题选择视觉证据



占位，持续更新ing

zdcs
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
视觉问答 Visual Question Answering 的开源社区与生态系统
禅与计算机程序设计艺术
07-03 818
在视觉认知与交互领域，图像理解一直是研究的核心课题之一。随着深度学习时代的到来，人们对于机器如何“看”并“理解”图像有了新的期待。尤其是视觉问答（Visual Question Answering, VQA）作为连接人类视觉感知与自然语言处理的重要桥梁，吸引了大量学者与工程师的关注。VQA旨在让系统具备回答关于图像中对象或场景的问题的能力，不仅考验了计算机对图像的理解能力，还涉及到了语义解析、推理以及上下文理解等多个层面。
Unsupervised-Attention-guided-Image-to-Image-Translation-master.zip
12-15
we tackle this limitation by introducing unsupervised attention mechanisms which are jointly adversarially trained with the generators and discriminators. We empirically demonstrate that our approach...
视觉问答（Visual_Question_Answering, VQA）介绍
最新发布
ZauberC的博客
03-18 2328
VQA任务定义如下：给机器输入一张图片和一个跟这幅图片相关的问题，机器需要根据图片信息对问题进行回答。训练阶段，需要先在一个由图像，问题，答案组成的三元组集上训练一个模型。测试阶段，给该预训练模型输入一张新的图像和一个新的问题，要求模型能够预测正确的答案。设模型参数为，则该任务的目标为求取!对于open-Ended问题，机器的输出是自然语言（算法需要生成一个字符串来回答问题）。对于multi-choice问题，机器挑选出正确答案。
Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering
lsh894609937的专栏
04-17 1284
文中提到当前一些处理VQA任务的方法都是基于处理Image Captioning任务的方法，具体就是采用卷积递归神经网络，但是这种方法不能很好的模拟spatial inference。文中提出Spatial Memory Network用于处理VQA任务。Spatial Memory Network存储图像不同区域的神经激活单元到网络的记忆中，并且根据问题选择与其相关的图像区域。   本文主要贡献
VQA: Visual Question Answering 视觉问答
eisanech的博客
04-09 9685
论文：Antol S, Agrawal A, Lu J, et al. Vqa: Visual question answering[C]//Proceedings of the IEEE international conference on computer vision. 2015: 2425-2433. 摘要 我们提出了一个自由式和开放式的视觉问答（VQA）任务。通过给定一个图像和一段关于图像的自然语言，这个任务将提供一个精确的自然语言答案。这个任务可以映射到现实生活的场景中：比如说帮助视障人士
Visual Question Answering概述
lch的博客
07-22 1570
目录任务描述应用领域主要问题主流框架常用数据集Metrics 任务描述 输入：图片III、由nnn个单词组成的问题Q={q1,...,qn}Q=\{ q_1,...,q_n \}Q={q1​,...,qn​} 输出：由mmm个单词组成的问题的答案A={a1,...,am}A=\{ a_1,...,a_m \}A={a1​,...,am​} 应用领域 盲人导航 图灵测试 主要问题 鲁棒性差 模型的鲁棒性差可多个方面体现，如缺乏可解释性、回答不一致等。造成这个问题的原因也是多方面的，如训练集和测试集
Visual Question Answering: A Survey of Methods and Datasets
bxg1065283526的博客
05-22 3094
Abstract 视觉问答（VQA）是一项具有挑战性的任务，已受到计算机视觉和自然语言处理社区的越来越多的关注。给定图像和自然语言的问题，就需要对图像的视觉元素和常识进行推理，以推断出正确的答案。在本调查的第一部分中，我们通过比较解决问题的现代方法来检查最新技术。我们通过它们将视觉和文本模态联系起来的机制对方法进行分类。特别是，我们研究了结合卷积神经网络和递归神经网络将图像和问题映射到公共特征空间的通用方法。我们还将讨论与结构化知识库交互的内存增强型和模块化体系结构。在本调查的第二部分，我们回顾了可...
show-attend-and-tell：“显示，出席和讲述”的TensorFlow实现
02-06
显示，出席和讲述更新（2016年12月2日）的... $ git clone https://github.com/yunjey/show-attend-and-tell-tensorflow.git$ git clone https://github.com/tylin/coco-caption.git 这段代码是用Python2.7编写的，
phones-las:使用“听讲”和“拼写”体系结构进行发音特征估计
03-16
使用LAS进行电话识别和发音特征检测 概述 该存储库是Interspeech 2019“发音特征检测的注意模型”的正式实施。 基本代码是（LAS）模型实现的分支。 我们的贡献： 一些常用数据集的食谱：Librispeech，Common Voice...
las-pytorch:聆听，参与和拼写E2E ASR模型。 在Pytorch中实施
05-03
LAS-Pytorch 这是我的（LAS）谷歌ASR深度学习模型... true_y ：['A'，'N'，'D'，'，'S'，'T'，'I'，'L'，'L'，'，'N'，'O'，' '，'A'，'T'，'T'，'E'，'M'，'P'，'T'，'，'B'，'Y'，''，'T'，'H '，'E'，''，'P'，'O']
Paper-Review:语音识别论文综述·NLP·语音合成
03-14
Listen, Attend and Spell 2016/09 Joint CTC-Attention based End-to-End Speech Recognition using Multi-task Learning 2017/07 Attention Is All You Need 2018/10 BERT: Pre-training of Deep Bidir
视觉问答权威综述Visual Question Answering： A Survey of Methods and Datasets
01-01
视觉问答权威综述，最后讨论了有前景的未来研究方向特别是与结构化知识库的联系以及使用自然语言处理模型。
【VQA综述】Visual Question Answer：A Survey of Method and Datasets 学习笔记
kaka03200的博客
09-09 678
视觉问答（VQA）是一项具有挑战性的工作，而且已经接收到来自计算机视觉和自然语言社区越来越多的注意。给定图像和自然语言问题，就需要对图像的视觉元素和常理进行推理得到正确的答案。在这个研究的第一部分，我们通过比较现代解决问题的技术来审视了艺术现状（？我们通过他们将视觉和文本联系起来的机制将方法进行了分类。特殊地，我们研究了使用卷积神经网络和循环神经网络将图片映射到特征空间的常用方法。我们还讨论了与结构化知识基础相关联的内存增强和模块化体系。在研究的第二部分，我们回顾了用于训练和评估VQA系统的数据集的可用性。
视觉问答06day[综述]：一文带你了解视觉问答VQA
suotanyu1595的博客
01-16 2323
A Brief Introduction for Visual Question Answer Visual Question Answer (VQA) 是对视觉图像的自然语言问答，作为视觉理解 (Visual Understanding) 的一个研究方向，连接着视觉和语言，模型需要在理解图像的基础上，根据具体的问题然后做出回答。本文将简短的对VQA做一个调研，涉及一小部分论文，作为入门。 ...
【自然语言处理】--视觉问答（Visual Question Answering，VQA）从初始到应用
L先生AI课堂
07-19 7562
一、前述 视觉问答（Visual Question Answering，VQA），是一种涉及计算机视觉和自然语言处理的学习任务。这一任务的定义如下： A VQA system takes as input an image and a free-form, open-ended, natural-language question about the image and produces a n...
论文解读：Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for VQA
yeal
12-07 1319
这是关于VQA问题的第五篇系列文章。本篇文章将介绍论文：主要思想；模型方法；主要贡献。有兴趣可以查看原文：Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering。 1，主要思想： 论文采用基于空间（图像）的记忆网络（记忆网络是NLP领域中的模型，用于处理逻辑推...
Show, Ask, Attend, and Answer: A Strong Baseline For Visual Question Answering论文阅读
不死谷神的博客
08-14 1461
文章目录摘要介绍MehtodQuestion embeddingStacked attention 摘要 本文主要的研究内容是VQA,视觉问题回答，就是输入一张图片和一个问题，让计算机针对图片的内容进行一个回答。本文是要作为一个baseline，所提出的方法相对比较简单，参数较少，但效果不错。 我对这个领域也是接触不多，主要是为了拓宽对于视觉研究内容的理解，所以对这篇文章的阅读进行一些记录。 介绍...
视觉问答 Visual Question Answering （VQA）入门
qq_42024428的博客
01-13 3522
马上就要结束研一上学期的学习，作者也在这个学期里从一个啥也不会的小白，到也算入门（keng）了视觉问答Visual Question Answering （VQA）这一领域。相较于计算机视觉（CV）领域的其他任务，如检测、识别、分割等等，VQA算是一个新兴且小众的领域，因此相关的接近新手教程般的博客还是比较少。写这篇博客一是记录下半年所学，二是希望回馈一直帮助我的CSDN社区，帮助到可能要入门的...
简单且强大的不规则文本识别基线：Show, Attend and Read
"王鹏等人提出了一种名为'Show, Attend and Read'的简单而强大的不规则文本识别基线方法，该方法在2019年AAAI预会议演讲中介绍。文章主要关注的是不规则文本识别任务，这是文本识别领域的一个挑战，包括在自然场景中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值