Multi-modality Latent Interaction Network for Visual Question Answering论文解读

一、文章简介

作者认为现有的研究关系的方法大多是单个视觉区域和单词之间的模型关系，这不足以正确回答这个问题。但从人类的角度来看，回答视觉问题需要理解视觉和语言信息的概要。本文提出了多模态潜交互模块(MLI)来解决这一问题。该模块学习潜在的视觉和语言概要之间的跨模态关系，其中将视觉区域和问题归纳为少量的潜在表征，以避免建模无信息单个视觉-问题关系。潜在的概要之间的跨模态信息被传播以从两种模态中融合有价值的信息,并且用于更新视觉和文字特征。这样的MLI模块可以被堆叠以建模两种模态之间的复杂和潜在关系。

二、模型概要

MLI模块首先将问题和图像特征编码成少量潜在的视觉和问题概要向量（ summarization vectors）。每个概要向量都可以表示为视觉或文字特征的加权合并，其从全局角度概括每个模态的某些方面,因此与单个单词和区域特征相比,编码更丰富的信息。在获得每种模态的概要之后，我们在多模态概要向量之间建立视觉语言关联，并提出在概要向量之间传播信息去模拟语言与视觉之间复杂的关系。每个原始视觉区域和单词特征将从更新的潜在概要中聚合信息,然后使用注意力机制和残差连接来预测正确答案。

三、多模态潜在交互网络模型