VQA 之 Multimodal Compact Bilinear Pooling

最新推荐文章于 2024-06-15 09:43:02 发布
最新推荐文章于 2024-06-15 09:43:02 发布
阅读量8.2k 收藏 9
点赞数 3
文章标签： VQA MCB bilinear pooling
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bea_tree/article/details/72903566
版权

涉及论文
[1]Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
https://www.arxiv.org/pdf/1606.01847.pdf
[2]Compact Bilinear Pooling
https://arxiv.org/pdf/1511.06062.pdf
[3]Bilinear CNN Models for Fine-grained Visual Recognition
https://arxiv.org/pdf/1504.07889.pdf

1 introduction

这里主要涉及三篇文章,首先是做fine-grained的bilinear cnn models[3],但是bilinear cnn会引起参数维度过大，于是作者提出了compact bilinear pooling[2]，然后在此基础上做VQA任务[1]，并取得了2016年的冠军 http://visualqa.org/roe.html

VQA =Visual Question Answering, 主要任务是给定一幅图片，并提出几个问题，模型负责回答该问题

最低0.47元/天 解锁文章
bea_tree
关注
专栏目录
compact bilinear pooling(tensorflow版本)
08-23
compact bilinear pooling(tensorflow版本)，可用于细粒度分类，特征融合
Multimodal Compact Bilinear Pooling（MCB）多模态紧凑双线性池
薄荷糖
01-16 2531
出自：Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding 分别提取对应模态的特征：对图片利用pre-train的CNN提取图片高层特征，对于文本则提取word-embeding,并通过lstm解码后的特征；　　 利用上个步骤得到的两个模态特征，分别利用Count Sketch方法进行逼近(降维)，得到降维之后的特征； 将上述得到的特征分别进行FFT，将其变换至频域，并在频域作向
探索深度学习的魔力：利用Compact Bilinear Pooling增强视觉理解
最新发布
gitblog_00028的博客
06-15 344
探索深度学习的魔力：利用Compact Bilinear Pooling增强视觉理解 项目地址:https://gitcode.com/ronghanghu/tensorflow_compact_bilinear_pooling 在当前人工智能的浪潮中，深度学习技术正以前所未有的速度推动图像处理和自然语言处理的进步。今天，我们将聚焦于一个强大的开源工具——Compact Bilinear Pool...
多模态融合算法——Multimodal Compact Bilinear Pooling
热门推荐
华为云官方博客
03-05 2万+
【摘要】 很多多模态任务，都需要融合两个模态的特征。特征融合即输入两个模态的特征向量，输出融合后的向量。最常用的方法是拼接（concatenation）、按位乘（element-wise product）、按位加（element-wise sum）。MCB的作者认为这些简单的操作效果不如外积（outer product），不足以建模两个模态间的复杂关系。但外积计算存在复杂度过高的问题。 Mult...
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
人工智能
06-11 1410
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding Akira Fukui, Dong Huk Park, Daylen Yang, Anna Rohrbach, Trevor Darrell, Marcus Rohrbach (Submitted on 6
Multimodal Compact Bilinear Pooling for Multimodal Neural Machine Translation
人工智能
06-11 821
Multimodal Compact Bilinear Pooling for Multimodal Neural Machine Translation Jean-Benoit Delbrouck, Stephane Dupont (Submitted on 23 Mar 2017) In state-of-the-art Neural Machine Translatio
【多模态论文阅读】Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual
qq_36643449的博客
03-03 2775
一、亮点 在融合文本和视觉两种模态的时候，通常使用concatenation的方法或者element-wise 乘积or求和，但是我们认为这些方法不如两个向量之间的外积那样具有表现力。与元素积相比，外积计算的是两个向量的所有元素之间的乘法交互。然而由于外积的高维性，通常是不可行的，所以本文提出用多么太紧凑双线性池化(MCB)来高效地表达多模态特征。 并且本文的还有一个亮点在于，对于VQA任务，使用两次MCB——一次用于预测对于空间特征的attention，另一次用于融合文本特征和视觉特征。 通过将图像和文本
论文笔记: (compact) Bilinear Pooling, Confusion
Wayne2019的博客
11-04 1万+
Learn by attention, learn with confusion.先引用几段魏秀参大神的论述「见微知著」——细粒度图像分析进展综述 细粒度物体的差异仅体现在细微之处。如何有效地对前景对象进行检测，并从中发现重要的局部区域信息，成为了细粒度图像分类算法要解决的关键问题。对细粒度分类模型，可以按照其使用的监督信息的多少，分为“基于强监督信息的分类模型”和“基于弱监督信息的分类模型”两
【多模态论文阅读】Multi-modal Factorized Bilinear Pooling with Co-Attention Learning for Visual Question Ans
qq_36643449的博客
03-04 3724
一、亮点 对于多模态特征融合，本文开发了一种多模态因子双线性（MFB）池化方法来有效地组合多模态特征； 对于细粒度的图像和问题表示，开发了一种“共同注意”机制，使用端到端的深度网络架构来共同学习图像和问题的注意力。 二、MCB和MLB的缺点 MCB 模型依赖于高维输出特征来保证稳健的性能，这可能会由于巨大的内存使用量而限制其适用性。 为了克服这个问题，Kim 等人提出了基于两个特征向量的Hadamard乘积的多模态低秩双线性化（MLB）池模型。 由于 MLB 生成的输出特征维度较低，模型参数较少，因此与
双线性池化_双线性池化（Bilinear Pooling）详解、改进及应用
weixin_39522170的博客
12-18 213
bilinear pooling在2015年于《Bilinear CNN Models for Fine-grained Visual Recognition》被提出来用于fine-grained分类后，又引发了一波关注。本文是一系列bilinear pooling相关的文章阅读笔记。来源：https://zhuanlan.zhihu.com/p/62532887作者：林小北最近看了一系列bili...
双线性池化（Bilinear pooling）tensorflow版
08-23
双线性池化（Bilinear pooling）tensorflow版，可以用于细粒度分类
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding——EMNLP2016
weixin_43364401的博客
04-17 1571
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding——EMNLP2016 文章链接： https://arxiv.org/pdf/1606.01847v3.pdf 概述：本文的主要工作点在多模态融合时 两个特征的融合使用双线性（外积、克罗内克积）能够更好更全面地表征 但外积使维...
论文阅读笔记之——《Compact Bilinear Pooling》
gwpscut的博客
07-10 3299
感觉跟之前看过的论文《实验笔记之——《Multi-scale Location-aware Kernel Representation for Object Detection》复现》很类似，通过kernel的近似来实现高维特征的提取 虽然bilinear 模型取得较好的performance，但是它的成本高（运算量、存储量）。为此作者提出一种紧凑型的bilinear model Our pr...
阅读笔记（Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding)
人工智能
06-11 2630
转载请注明出处：西土城的搬砖工 论文链接：Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding 来源：EMNLP（2016） 关键词：Multimodal Compact Bilinear(MCB)，VQA 问题： 对于像视觉问答系统、视觉定位系统这样Multi
(compact) Bilinear Pooling, Confusion
心之所向
12-27 1100
来源 Learn by attention, learn with confusion. 先引用几段魏秀参大神的论述「见微知著」——细粒度图像分析进展综述  细粒度物体的差异仅体现在细微之处。如何有效地对前景对象进行检测，并从中发现重要的局部区域信息，成为了细粒度图像分类算法要解决的关键问题。对细粒度分类模型，可以按照其使用的监督信息的多少，分为“基于强监督信息的分类模型”和“基于弱监督信息...
论文笔记 ：Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
zdcs的专栏
02-06 2194
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding AkiraFukui*1,2 DongHukPark*1 DaylenYang*1 AnnaRohrbach*1,3 TrevorDarrell1 MarcusRohrbach1 1UC Berkeley EECS, CA,
深度学习：Bilinear model
南淮北安的博客
11-04 1743
文章目录一、Bilinear model 解析二、Bilinear model 的应用 一、Bilinear model 解析 bilinear model是一种将多个特征结合起来作为input的方法。 比如：对于一个词，他的特征就包括：词性特征，word embedding特征etc. 如果结合多source的特征，就加入了更多信息，实现更有效的表征。 最简单的做法是: （1）直接拼接两个特征：...
"深入探讨VQA2020：图表问答和视频问答领域新算法与数据集综述
视觉问答（VQA）领域是计算机视觉和自然语言处理相结合的前沿领域之一。近年来，随着深度学习和神经网络的发展，VQA技术取得了显著进展，为机器实现对图像与视频内容提出问题并给出准确答案提供了新的可能性。在2020...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值