2021.02.05 Visual QA论文阅读

[2016][ECCV] Ask, Attend and Answer: Exploring Question-Guided Spatial Attention for Visual Question Answering

文章链接
本文的motivation和同期的论文都差不多，就是existing methods直接套用image captioning任务的方法（LSTM、RNNs，基于global feature），这样的方法没有spatial inference的能力，不能显式的进行目标定位。本文从这个角度出发，作者认为，进行QA需要模型根据question关注到图片的一部分，遂提出了Question-Guided Spatial Attention。

在方法上 ，作者提出了一个基于question指导的image上的spatial attention，并通过重复attention部分，实现deeper inference。

作者探索了hop次数对实验结果的影响，2hop比1hop的效果好很多，但是3hop就几乎没有提升了。在实验结果上，2hop虽说超过了SOTA，但是和同期的论文比，不算最高的。下面两张图片分别是DAQUAR和VQA数据集上的实验结果。

下面是对spatial attention的可视化，作者对比了one-hop model和two-hop model的spatial attention。下图中，每个QA pair后面的三张attention map分别是：one-hop model’s attention、two-hop model’s attention in hop1、two-hop model’s attention in hop2.

[2016][ECCV] Learning Models for Actions and Person-Object Interactions with Transfer to Question Answering

文章链接
本文的motivation和同期论文有点不同，本文只关注与两类question：① person activity；② person-object relationship。作者通过迁移学习，把在HICO（activity classification dataset）和MPII（human pose dataset）上训练得到的模型，transfer到VQA任务上。

本文是一个region based方法，基于Fast RCNN提取ROIs。然后对于image $I$和ROI set $B$，计算action score $score(a;I)={\text{max}}_{b\in B}score(a;b,I)$。将得到的score输入到logistic sigmoid或softmax即可得到action预测，这一部分作者称为多实例学习（Multiple Instance Learning）。本文另一contribution是使用了weighted loss，其实就是给正负样本的loss加上了人为权重，正样本权重是10，负样本权重是1.

作者只在Visual Madlibs的两类数据上做了实验：