《MUTAN: Multimodal Tucker Fusion for Visual Question Answering》阅读笔记

最新推荐文章于 2024-03-18 20:09:45 发布
VIP文章 最新推荐文章于 2024-03-18 20:09:45 发布
阅读量2.7k 收藏 7
点赞数
分类专栏： VQA 多模态融合 bilinear image text 论文阅读笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiang6869732/article/details/81409668
版权

《MUTAN: Multimodal Tucker Fusion for Visual Question Answering》阅读笔记

一、研究背景

Bilinear models在视觉问答（VQA）任务中进行信息融合提供了一个吸引人的框架。 它们有助于学习question meaning 和 visual concepts in the image之间的高层次关系，但它们存在高维度问题。 论文引入MUTAN，a multimodal tensor-based Tucker decomposition ，有效地参数化visual和text表示之间的双线性相互作用。 除了Tucker framework之外，还设计了一种基于矩阵的低阶分解来明确约束交互等级。 使用MUTAN，可以控制合并方案的复杂性，同时保持良好的可解释融合关系。

二、文章贡献

1、VQA的新融合方案依赖于基于Tucker张量的分解，包括分解为三个矩阵和核心张量。 论文中证明了MUTAN融合方案推广了最新的双线性模型，即MCB [5]和MLB [8]，同时具有更强的表现力；
2、Additional structured sparsity 约束核心张量以进一步控制模型参数的数量。 这在训练期间充当正则化器并防止过度拟合，使我们能够更灵活地调整输入/输出预测；
3、在最常使用的数据集VQA上取得很好的结果， 文中还表明MUTAN在相同的设置的条件下，结果优于MCB 和MLB ，并且当与MLB结合时可以进一步提高性能，验证两种方法之间的互补可能性。

三、实验模型

最低0.47元/天 解锁文章
等风人
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Visual_Question_Answering.pytorch:视觉问答
05-16
视觉问答 该实现遵循“图像字幕和视觉问题解答的自下而上和自上而下注意”（ ）和“视觉问题解答的提示和技巧：从中学到的知识”中描述的VQA系统2017年挑战”（ ）。 结果 模型 验证准确性 训练时间 实施模型（CNN扩展+ BCP） 64.2 40至50分钟（Titan Xp） 使用计算准确性。 实施细节 我们的实现遵循论文的总体结构，但有以下简化： 我们不使用额外数据。 每个图像我们仅使用固定数量的对象（K = 36）。 我们使用一个简单的单流分类器而不进行预训练。 我们使用简单的ReLU激活而不是封闭的tanh。 前两点大大减少了培训时间。 在单个Titan Xp上，我们的实现每个周期大约需要200秒，而本文中描述的实现每个周期需要1个小时。 第三点是因为我们认为原始文档中的两个流分类器和预训练过于复杂，因此没有必要。 对于非线性激活单元，我们尝试了门tanh，
【自然语言处理】--视觉问答（Visual Question Answering，VQA）从初始到应用
L先生AI课堂
07-19 7507
一、前述 视觉问答（Visual Question Answering，VQA），是一种涉及计算机视觉和自然语言处理的学习任务。这一任务的定义如下： A VQA system takes as input an image and a free-form, open-ended, natural-language question about the image and produces a n...
视觉问答（Visual_Question_Answering, VQA）介绍
最新发布
ZauberC的博客
03-18 1232
VQA任务定义如下：给机器输入一张图片和一个跟这幅图片相关的问题，机器需要根据图片信息对问题进行回答。训练阶段，需要先在一个由图像，问题，答案组成的三元组集上训练一个模型。测试阶段，给该预训练模型输入一张新的图像和一个新的问题，要求模型能够预测正确的答案。设模型参数为，则该任务的目标为求取!对于open-Ended问题，机器的输出是自然语言（算法需要生成一个字符串来回答问题）。对于multi-choice问题，机器挑选出正确答案。
【多模态论文阅读】MUTAN: Multimodal Tucker Fusion for Visual Question Answering
qq_36643449的博客
03-05 814
一、背景 对于MCB来说，WqW_qWq​和WvW_vWv​是固定参数，仅仅WoW_oWo​是可学习参数。很多参数是固定的，依赖于高维输出特征来保证稳健的性能，这可能会由于巨大的内存使用量而限制其适用性。 对于MLB来说，虽然Wq、Wv、WoW_q、W_v、W_oWq​、Wv​、Wo​都是可学习的参数，而TcT_cTc​是固定参数，相较于MUTAN需要学习的参数多，收敛慢。 本文提出MUTAN——基于多模态张量Tucker分解，能够有效的在视觉和文本的双线性交互（Bilinear models）的模型中进
MUTAN:Multimodal Tucker Fusion For Visual Question Answering
snow_maple521的博客
09-19 1703
MUTAN:Multimodal Tucker Fusion For Visual Question Answering 1. 摘要 虽然Bilinear models（双线性模型）在VQA中能够很好的融合信息，帮助学习问题意义和图像内容之间的高级关联，但是存在高维度问题，所以本文引入MUTAN概念——基于多模态张量Tucker分解，能够有效的在视觉和文本的双线性交互（Bilinear models）的模型中进行参数化，除Tucker分解之外，还设计了基于矩阵的低秩分解 来明确限制交互等级。 2. 引言 V
论文代码细读（初学者入门，两张图看懂塔克融合论文代码）MUTAN: Multimodal Tucker Fusion for Visual Question Answering
weixin_45347379的博客
09-28 1174
入门小技巧 一，pycharm快捷键使用（参考）可以快速在多个文件中找到函数，参数调用关系 ctrl+f: 搜索打开的文件中的关键字 ctrl+f+shift：全局文件搜索关键字 ctrl+n：查找.py文件 ctrl+n+shift：查找各种类型的文件 find useages（选中函数右键）:找到函数或参数被使用的地方。 二，pytorch常用函数讲解 论文内容详解参考链接： 论文：https://arxiv.org/pdf/1606.01847v3.pdf 官方代码：https://github.co
多模态特征融合的方法总结：应用于VQA视觉问答
03-09
项目代码地址：https://github.com/nuistzimoli/MUTAN-for-VQA
TubesUROProgramming
04-02
电子管编程URO程序机器人Pembasmi kecoak mutan 链接GitHub： 机器人memiliki生命200丹，伤害5。Kecoak memiliki生命20丹，伤害5.机器人dan kecoak memiliki jangkauan tembakan sejauh 3 satuan。 Cara Menjalankan...
sf-request-102
03-15
来自mutan / sf-request-101 CRUD仓库 REST Api仓库 使restore_db
【文献阅读】MUTAN——多模态塔克融合VQA模型（Hedi Ben-younes等人，ArXiv，2017，有代码）
QQ704630835的博客
06-04 3497
一、背景 文章题目：《MUTAN: Multimodal Tucker Fusion for Visual Question Answering》 17年的一篇文章，不过后面看到很多文献引用了这篇，所以还是记录一下。 文章下载地址：https://arxiv.org/pdf/1705.06676.pdf 文献引用格式：Hedi Ben-younes, R´emi Cadene, Matthieu Cord and Nicolas Thome. (2017) "MUTAN: Multimodal Tu
VQA: Visual Question Answering 视觉问答
eisanech的博客
04-09 9177
论文：Antol S, Agrawal A, Lu J, et al. Vqa: Visual question answering[C]//Proceedings of the IEEE international conference on computer vision. 2015: 2425-2433. 摘要 我们提出了一个自由式和开放式的视觉问答（VQA）任务。通过给定一个图像和一段关于图像的自然语言，这个任务将提供一个精确的自然语言答案。这个任务可以映射到现实生活的场景中：比如说帮助视障人士
Visual Question Answering: A Survey of Methods and Datasets
bxg1065283526的博客
05-22 3009
Abstract 视觉问答（VQA）是一项具有挑战性的任务，已受到计算机视觉和自然语言处理社区的越来越多的关注。给定图像和自然语言的问题，就需要对图像的视觉元素和常识进行推理，以推断出正确的答案。在本调查的第一部分中，我们通过比较解决问题的现代方法来检查最新技术。我们通过它们将视觉和文本模态联系起来的机制对方法进行分类。特别是，我们研究了结合卷积神经网络和递归神经网络将图像和问题映射到公共特征空间的通用方法。我们还将讨论与结构化知识库交互的内存增强型和模块化体系结构。在本调查的第二部分，我们回顾了可...
Visual Question Answering in Tensorflow实战
法相的博客
09-12 509
主要参考：https://github.com/paarthneekhara/neural-vqa-tensorflow 论文地址：https://arxiv.org/abs/1505.02074 开始爬坑： 首先服务器是linux，但是不能连接网络。因此只能在windows下进行。 按照步骤，首先就是获取数据。 坑1：Download the MSCOCO train+val imag...
Visual Question Answering as Reading Comprehension论文笔记
bxg1065283526的博客
03-21 809
Abstract 视觉问答(VQA)要求同时理解图像视觉内容和自然语言问题。在某些情况下，推理需要常识或一般知识的帮助，这些知识通常以文本的形式出现。当前的方法将视觉信息和文本特征共同嵌入到同一空间中。然而，如何模拟两种不同模式之间复杂的相互作用并不容易。与多模态特征融合的努力相反，本文提出用自然语言统一所有输入信息，从而将VQA问题转化为机器阅读理解问题。通过这种转换，不仅可以处理侧重于基于观...
Visual Question Answering概述
lch的博客
07-22 1544
目录任务描述应用领域主要问题主流框架常用数据集Metrics 任务描述 输入：图片III、由nnn个单词组成的问题Q={q1,...,qn}Q=\{ q_1,...,q_n \}Q={q1​,...,qn​} 输出：由mmm个单词组成的问题的答案A={a1,...,am}A=\{ a_1,...,a_m \}A={a1​,...,am​} 应用领域 盲人导航 图灵测试 主要问题 鲁棒性差 模型的鲁棒性差可多个方面体现，如缺乏可解释性、回答不一致等。造成这个问题的原因也是多方面的，如训练集和测试集
Visual Question Answering: Datasets, Algorithms, and Future Challenges文章翻译
bxg1065283526的博客
05-08 1769
Abstract 视觉问答(VQA)是计算机视觉和自然语言处理领域的一个新问题，引起了深度学习、计算机视觉和自然语言处理领域的极大兴趣。在VQA，一种算法需要回答基于文本的图像问题。自2014年第一个VQA数据集发布以来，已经发布了更多数据集，并提出了许多算法。在这篇综述中，我们从问题表述、现有数据集、评估指标和算法等方面批判性地考察了VQA的现状。特别是，我们讨论了当前数据集在正确训练和评估V...
深度学习神经网络学习笔记-多模态方向-09-VQA: Visual Question Answering
CSDNXXCQ的博客
05-22 1808
我们提出了自由形式和开放式视觉问答(VQA)的任务。给定一张图像和一个关于图像的自然语言问题，任务是提供一个准确的自然语言答案。镜像现实场景，比如帮助视障人士，问题和答案都是开放式的。视觉问题有选择地针对图像的不同区域，包括背景细节和底层上下文。因此，在VQA上取得成功的系统通常需要比生成通用图像标题的系统更详细地了解图像和复杂的推理。此外，VQA适合自动评估，因为许多开放式答案只包含几个单词或一组封闭的答案，这些答案可以以多项选择的形式提供。
Attention Model in Visual Question Answering
raquelle的记忆宫殿
10-22 694
注意力机制常常用于Visual Question Answering和Image Caption中，此篇主要介绍VQA中的注意力机制。 《Recurrent Models of Visual Attention》 https://github.com/jlindsey15/RAM https://github.com/kevinzakka/recurrent-visual-attention...
『论文笔记』OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge
Hoshino Ren的博客
10-21 1343
OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge 一句话总结 提出数据集OK-VQA，其中的问题均需要根据外部知识推理才能回答。 导论 Motivation： 现有VQA数据集中的大多数问题不需要逻辑推理或者与外部知识的联系，仅仅是有关数量、视觉属性以及物体检测的简单问题。 Contribution： 本文提出一个 只包含需要外部知识回答的问题 的数据集OK-VQA(Outside Knowledg
给我推荐20个多模态模型
08-09
8. MUTAN：一种多模态交互模型，用于图像和文本相关性推理。 9. MUREX：一种用于多模态表情识别的模型，结合了图像和声音特征。 10. MMT：多模态推理模型，用于图像和文本的视觉问答任务。 11. CMN：一种用于多...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值