《Self-Critical Reasoning for Robust Visual Question Answering》 鲁棒视觉问题解答的自我批判推理论文解读

下面是我对最近阅读的论文《Self-Critical Reasoning for Robust Visual Question Answering》的一些简要理解

一、摘要

由于语言的先验性强，视觉问答（VQA）深度学习系统倾向于捕捉训练数据中的表面统计相关性，而不能推广到具有显著不同的问题回答(QA)分布的测试数据，为了解决这个问题，我们引入了一个自我批判的训练目标，确保正确答案的视觉解释匹配最有影响力的图像区域比其他竞争的答案候选人更多。有影响的区域要么由人类视觉/文本解释决定，要么从问题和答案中的重要词汇中自动确定。我们评估VQA概括任务使用VQA CP数据集的方法，实现了一个新的最先进的，即49.5%使用文本解释和48.5%使用自动注释的区域。

二、介绍

强大的语言先验鼓励系统盲目地捕捉表面的统计相关性在训练QA对，并简单地输出最常见的答案， 而不是对人类关注的相关图像区域进行推理。 例如，由于大约40%的以“什么运动”开头的问题有“网球”的答案，系统倾向于学习为这些问题输出“网球”，而不管图像内容如何。

最近的一些VQA系统不仅学会预测正确的答案，而且学会“出于正确的理由”来预测正确的答案。 这些系统被训练以鼓励网络聚焦于人类已经以某种方式注释为重要的图像中的区域（我们将称之为“重要区域”）。 然而，许多时候，网络也关注这些即使它产生了错误答案的重要区域。以前的方法并没有积极阻止这种现象，而且这种现象非常频繁，如图一所示

图一： 一个常见答案的例子误导了预测，即使VQA系统有正确的答案理由。图（a）显示了人类视觉注意力中提取的重要区域。 图(b)，(e)显示了训练和测试数据集中“男人吃什么？”问题的答案分布。 图(c）、(d)显示了使用基线UpDnVQA系统预测“热狗”和“香蕉”的最有影响的区域， 图(f)，(g)显示了用VQA系统训练后预测“热狗”和“香蕉”的影响区域。 包围框上的数字显示答案对对象的敏感性。

为了解决错误答案的出现度更高，且出现比较频繁的这个问题，我们提出了一个“自我批评”的方法，直接批评错误答案的敏感度的重要区域。首先，对于每个QA， 我们确定了最影响网络预测正确答案的重要区域。 然后，当网络对这个问题的预测答案是错误的时，我们惩罚了它专注于这个区域的网络。

我们的自我批评方法是端到端可训练的，只要求基本的VQA系统与视觉内容是可微的， 因此，可以应用于大多数目前最先进的系统… 我们调查了三种确定重要区域的方法。 首先，和以前的工作一样，我们使用了人类明确标记为重要的区域。 然而，这需要相当多的额外人力来提供这样详细的注释。 因此，我们还利用VQA-X[18]数据集的人类文本VQA解释来确定重要的对象，然后将其接地到图像中的重要区域。 最后，我们试图只使用问题或答案中提到的对象来确定重要区域，并将它们置于图像中，这不需要对VQA训练数据进行额外的人工注释。

我们使用VQA-CP数据集[1]上的UpDnVQA系统[2]来评估我们的方法，并实现了一种新的最先进的性能（目前为47.7%）：即用VQA-X[18