Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering简介

本篇文章介绍的VQAv2是人工标注的开放式问答数据集，通过收集互补的图像来平衡目前的VQA数据集，针对视觉问题回答(VQA)任务的语言偏见，使视觉(VQA中的V)变得重要，相较于VQAv1尽量减少了语言偏见（为每个问题补充了图片）。
同时，本文提出一个新的用于识别互补图像的数据收集模型，该模型除了为给定的(图像、问题)对提供答案外，还提供基于反例的解释。具体来说，它识别出与原始图像相似的图像，但它认为对同一个问题有不同的答案。这有助于在用户之间建立对机器的信任。
一、文章引入
先前的相关文章中提出，在VQA数据集中存在一种特殊的“视觉启动偏差”，比如当实验人员在查看图像时看到了图片上的钟楼，那么人们只会问：“画中有钟楼吗?”。这里作者提出了一个特别反常的例子——对于VQA数据集中以“Do you see a…”开头的问题，盲目地回答“是”而不阅读问题的其余部分或查看相关的图像结果的VQA准确度为87%。
本文提出了应对这些语言偏见的方法，并提升了图像理解在VQA中的作用。为了实现这一目标，本文收集了一个平衡的VQA数据集，该数据集显着减少了语言偏见。具体来说，通过给定VQA数据集中的（图像，问题，答案）三元组（I，Q，A），要求人类对象识别与I类似的图像I’，但导致问题Q的答案变为A’（与A不同）。下图显示了来自平衡数据集的示例。

作者的假设是，这个平衡的数据集将迫使VQA模型专注于视觉信息。