用于视觉问题回答的紧凑三线性交互模型《Compact Trilinear Interaction for Visual Question Answering》

目录

一、文献摘要介绍

二、网络框架介绍

三、实验分析

四、结论

---

这是视觉问答论文阅读的系列笔记之一，本文有点长，请耐心阅读，定会有收货。如有不足，随时欢迎交流和探讨。

一、文献摘要介绍

In Visual Question Answering (VQA), answers have a great correlation with question meaning and visual contents. Thus, to selectively utilize image, question and answer information, we propose a novel trilinear interaction model which simultaneously learns high level associations between these three inputs. In addition, to overcome the interaction complexity, we introduce a multimodal tensor-based PARALIND decomposition which effificiently parameterizes trilinear interaction between the three inputs. Moreover, knowledge distillation is fifirst time applied in Free-form Opened-ended VQA. It is not only for reducing the computational cost and required memory but also for transferring knowledge from trilinear interaction model to bilinear interaction model. The extensive experiments on benchmarking datasets TDIUC, VQA-2.0, and Visual7W show that the proposed compact trilinear interaction model achieves state-of-the-art results when using a single model on all three datasets.

作者认为在视觉问题解答（VQA）中，答案与问题含义和视觉内容有很大的关联。 因此，为了有选择地利用图像，问题和答案信息，我们提出了一种新颖的三线性交互模型，该模型同时学习了这三个输入之间的高级关联。 此外，为了克服交互的复杂性，我们引入了基于多模态张量的PARALIND分解，该分解有效地参数化了三个输入之间的三线性交互。 此外，知识蒸馏是首次应用于自由形式的开放式VQA。 它不仅用于减少计算成本和所需的内存，还用于将知识从三线性交互模型转移到双线性交互模型。

二、网络框架介绍

        令代表三个输入的表示。 ，其中是输入的通道数，而是每个通道的维度。例如，如果是图像的基于区域的表示，则是区域的数量，而是每个区域的特征表示的尺寸。令是的第  行，即中第  个通道的特征表示，其中,作者提出的模型应用到了视觉问答的多项选择和自由问答题目，下面进行详细的分析。

2.1. Fully parameterized trilinear interaction

        由三个输入上的完全参数化的三线性相互作用产生的联合表示由表示，其计算如下

其中，是一个学习张量；是的向量化，输出行向量；运算符表示张量积。

        张量有助于通过张量积学习三个输入之间的相互作用。但是，当每个输入模态的维数高时，学习如此大的张量