Multi-Modal Answer Validation for Knowledge-Based VQA

基于知识的视觉问答问题除了图像的内容外，还涉及到回答需要外部知识的问题。这种知识通常有多种形式，包括视觉、文本和常识知识。然而，更多知识来源的使用也增加了检索更多不相关或嘈杂事实的机会，使得理解事实和找到答案变得困难。为了应对这一挑战，我们提出了使用外部知识的多模态答案验证，其思想是基于答案特定的知识检索来评估一组候选答案。这与现有的从大量无关事实中寻找答案的方法形成对比。我们的方法旨在了解每个答案应该信任哪些知识来源，以及如何使用该来源验证候选人。我们考虑一个多模态设置，依赖文本和视觉知识资源，包括使用谷歌搜索的图像、维基百科文章中的句子和概念网中的概念。我们在一个具有挑战性的基于知识的VQA数据集OK-VQA上的实验表明，MAVEx获得了新的最先进的结果。

Introduction

在过去的几年里，视觉问题回答（VQA）领域已经见证了重大进展[2, 41, 13, 32]。最近有一种基于知识的VQA的趋势[37, 36, 25]，它需要超出图像内容的信息。为了正确回答那些具有挑战性的问题，该模型不仅需要视觉识别的能力，还需要逻辑推理和纳入关于世界的外部知识。这些知识事实可以从各种来源获得，如图像搜索引擎、百科全书文章和关于常见概念及其关系的知识库。