多模态融合(七)Multi-modality Latent Interaction Network for Visual Question Answering

背景

本篇论文的工作来自于香港中文大学-商汤联合实验室。与DFAF出自同一作者之手。论文接收于ICCV2019

摘要

现有的解决VQA问题的方法大都是关注于各个独立的image regions于question words之间的联系(比如对intra-modal、inter-modal的联系建模，使用SA、GA等各注意力手段)，始终是从局部的视角来捕捉特征间的联系。(缺乏大局观，对全局特征利用甚少，这与人类回答VQA问题有所不同，人善于利用各种信息进行summarization，从全局的视野来完成这个任务)。

前人对特征的处理方式与本文提出的方法

框架

与DFAF网络结构类似的是，本文提出的MLIN网络也是由MLI这样的block堆叠而成。送入网络的图文特征表示为

每种模态的特征进行summarization操作，得到k个向量表示。每种模态的k个summarization vector可以理解成是从全局视角捕捉到输入特征的k个不同方面的表示。 由sumarization vector组成的矩阵分别记为$\hat{R}$和 E ^ \hat E