《R-VQA: Learning Visual Relation Facts with Semantic Attention for Visual Question Answering》

目录

一、文献摘要介绍

二、网络框架介绍

三、实验分析

四、结论

---

这是视觉问答论文阅读的系列笔记之一，本文有点长，请耐心阅读，定会有收货。如有不足，随时欢迎交流和探讨。

一、文献摘要介绍

Recently, Visual Question Answering (VQA) has emerged as one of the most significant tasks in multimodal learning as it requires understanding both visual and textual modalities. Existing methods mainly rely on extracting image and question features to learn their joint feature embedding via multimodal fusion or attention mechanism. Some recent studies utilize external VQA-independent models to detect candidate entities or attributes in images, which serve as semantic knowledge complementary to the VQA task. However, these candidate entities or attributes might be unrelated to the VQA task and have limited semantic capacities. To better utilize semantic knowledge in images, we propose a novel framework to learn visual relation facts for VQA. Specifically, we build up a Relation-VQA (R-VQA) dataset based on the Visual Genome dataset via a semantic similarity module, in which each data consists of an image, a corresponding question, a correct answer and a supporting relation fact. A well-defined relation detector is then adopted to predict visual question-related relation facts. We further propose a multi-step attention model composed of visual attention and semantic attention sequentially to extract related visual knowledge and semantic knowledge. We conduct comprehensive experiments on the two benchmark datasets, demonstrating that our model achieves state-of-the-art performance and verifying the benefit of considering visual relation facts.

作者认为，最近，视觉问题解答（VQA）已成为多模式学习中最重要的任务之一，因为它需要了解视觉和文本形式。现有方法主要依靠提取图像和问题特征来通过多峰融合或注意机制学习其联合特征嵌入。最近的一些研究利用独立于VQA的外部模型来检测图像中的候选实体或属性，以作为VQA任务的语义知识的补充。但是，这些候选实体或属性可能与VQA任务无关，并且语义能力有限。为了更好地利用图像中的语义知识，作者提出了一个新颖的框架来学习VQA的视觉关系事实。具体来说，作者通过语义相似性模块基于Visual Genome数据集构建了一个Relation-VQA（R-VQA）数据集，其中每个数据均包含图像，相应的问题，正确的答案和支持的关系事实。然后采用定义明确的关系检测器来预测与视觉问题相关的关系事实。作者进一步提出了一个由视觉注意力和语义注意力依次组成的多步骤注意力模型，以提取相关的视觉知识和语义知识。作者对两个基准数据集进行了全面的实验，证明模型达到了最新的性能，并验证了考虑视觉关系事实的好处。

二、网络框架介绍

为了充分利用图像中的语义知识，作者为VQA提出了一种新颖的语义注意模型。 建立了一个大规模的Relation-VQA（R-VQA）数据集，其中包括基于Visual Genome数据集的超过335k数据样本。 每个数据实例由一个图像，一个相关问题以及一个与图像问题对在语义上相似的关系事实组成。 然后，采用关系检测器来预测给定图像和问题的最相关的视觉关系事实。 我们进一步提出了一种新颖的多步骤注意力模型，将视觉注意力和语义注意力整合到了顺序注意力框架中，接下来进行详细介绍，下面是提出模型的大致框架图。

下图是在R-VQA数据集上的示例。

典型的深层残差网络ResNet-152可以从池化层之前的最后一个卷积层提取图像特征图