论文-《Answer Them All! Toward Universal Visual Question Answering Models》笔记

最新推荐文章于 2024-03-18 20:09:45 发布

Vivinia_Vivinia

最新推荐文章于 2024-03-18 20:09:45 发布

阅读量806

点赞数

分类专栏：论文文章标签： VQA 论文

本文链接：https://blog.csdn.net/hester_hester/article/details/102911766

版权

本文对比了5种最先进的VQA算法在8个数据集上的表现，发现算法普遍无法在真实和合成数据集间泛化。为解决此问题，提出的新算法REMAN VQA，在所有数据集上都能与最佳方法竞争，尤其擅长处理合成图像和复杂推理问题。

摘要由CSDN通过智能技术生成

重点翻译拓展

论文下载

摘要：

Visual Question Answering (VQA) research is split into two camps: the first focuses on VQA datasets that require natural image understanding and the second focuses on synthetic datasets that test reasoning. A good VQA algorithm should be capable of both, but only a few VQA algorithms are tested in this manner. We compare five state-of- the-art VQA algorithms across eight VQA datasets covering both domains. To make the comparison fair, all ofthe models are standardized as much as possible, e.g., they use the same visual features, answer vocabularies, etc. We find that methods do not generalize across the two domains. To address this problem, we propose a new VQA algorithm that rivals or exceeds the state-of-the-art for both domains.

VQA研究主要分为两大阵营：一是针对真实数据集图像的理解，二是对合成数据集的推理测试。但是发现很少有算法能够兼顾这两个方面。因此作者提出一个新的VQA算法，旨在能够很好的应用在两个领域。

背景：

介绍：

VQA要求模型能够理解和推理视觉语言概念来回答和图像有关的开放式问题，但是现在的算法很难做到这一点，大部分都利用偏差和图像问题间的表面关系进行推理，而没有真正理解视觉内容。其中VQAv1数据集的偏差比较典型，使用“yes”回答这种判断类问题可以达到71%的准确率。为了解决这个问题，很多数据集都做了努力，VQAv2数据集针对每一个问题都设置了不同的图片和不同的回答；TDIUC分析了多种问题和罕见答案的泛化性；CVQA测试了概念语