2021.02.04 Visual QA论文阅读-CSDN博客

本文链接：https://blog.csdn.net/ms961516792/article/details/113649487

[2016][CVPR] Where To Look: Focus Regions for Visual Question Answering

文章链接
本文的motivation很明确——knowing where to look。

方法上，本文只针对多项选择式VQA。首先，得到region features $v_i$ 和text feature $q$ ，先经过 $g_i = (Av_i+b^A)^T(Bq+b^B)$ 和 $\text{softmax}(g)$ 得到region weight $s_i$ ，然后将region features $v_i$ 和text feature $q$ 连接，得到 $d_i = [v_i, q]$ ，最后经过 $\sum_{i}(Wd_i,+b^W)s_i$ 得到weighted average feature $z$ ，用于后续的分类和分数预测。

下面是在VQA数据集上的实验结果，和一些可视化的实验结果。

[2016][CVPR] Yin and Yang: Balancing and Answering Binary Visual Questions

文章链接
本文题目中提到阴阳，其实就是想说balance。。。作者先是从language prior的角度出发，说语言信息能够对VQA任务提供先验信息，如：对于question “Is the xxx yyy zzz?”，答案一定是yes or no。本文正是针对这类VQA问题（回答是yes or no的QA pair），作者对VQA数据集进行了balance，然后提出了一种基于visual verification的binary VQA方法。

关于作者如何balance数据集，这里就不多提了，下面简单介绍一下本文的方法。由于作者只针对binary VQA，本文的模型分为两个组成部分：① 语言解析（Language Parsing）；② 视觉验证（Visual Verification）。在语言解析部分，作者使用斯坦福解析器对question进行解析，然后做一些“剪枝”操作（去除some、the等stop words，去除is、do等辅助动词），得到question的summary。如：Is the woman on couch petting the dog? → woman on couch petting dog. 然后，作者提取PRS三元组<woman on couch, petting, dog>，这部分作者使用了[17]中的方法。得到三元组后，需要将其中的P和S对应到图片中，这部分作者参考[39]中的方法，将图片中和单词（如：dog）互信息最高的部分作为referent。完成alignment后，需要进行视觉验证。视觉验证部分训练了两个模型，分别是Q-model和Tuple-model。Q-model使用image feature和question global feature（使用LSTM得到）作为输入，做一个point-wise multiplication，得到多模态表示，经过fc层得到yes or no的输出。Tuple-model使用image feature（和Q-model一样）和PRS words feature（使用word2vec得到，进行concatenation）作为输入，和Q-model做一样的后续操作。得到的两份yes or no，经过乘法（我理解的是，都为yes才是yes）得到最终答案。注意： image feature是aligned PS image feature。

实验结果分为两部分，unbalanced VQA和balanced VQA。