2020cvpr论文阅读 On the General Value of Evidence, and Bilingual Scene-Text Visual Question Answering

摘要：

目前的VQA方法的泛化能力都挺差，容易学习到数据中一些巧合的联系，而不是图像和问题的更深层的联系。所以论文作者提出了一种数据集来设法解决这个问题。该数据集的问题包含两种语言：中文和英文；并提供一种基于图像的利于理解的度量标准来反映方法的推理能力。测量推理能力可通过惩罚碰巧正确的答案来提高模型的推理能力。

简介：

聚焦于数据中巧合的联系会使泛华能力下降。这些联系在数据集之间并不稳定，一旦测试数据和训练数据集的分布不一样，那些利用这些联系的方法就无法正常工作。相反，底层的推理，在数据集之间稳定，促使VQA模型根据图像的关键区域来推理从而实现泛化。

这篇论文的主要贡献：

1、EST-VQA数据集不仅提供问题，图像和答案，还提供边界框用来指示是哪一个图像区域提供了答案信息，叫做evidence。

2、评价指标。需要模型提供预测的答案的evidence，可以预测对于简单的分类模型来说会更难取得高的性能。

3、双语，据作者所知，EST-VQA是第一个双语场景的text VQA数据集，包含中文和英文的问题答案对。在多语言的场景，方法会更难利用表层的联系，从而提升模型的泛化能力。所选的语言也是语法上格外有区别，反映出不同的文化背景，会导致不同的问题分布，所以会更加提升泛化能力。

EST-VQA数据集包含的数据分布如下图，

数据集实际操作：

结论：

该数据集不仅要求模型回答问题，而且还需要提供对应的evidence，这样可以判断模型是否学习到了图像和问题之间的深层联系，而不是在一个预定义的词典上过拟合。未来的工作包括在已存在的VQA数据集上扩展EvE（Evidence-based Evaluation）度量标准，从而提高泛化能力和VQA技术的实用性。