《Dual Attention Networks for Multimodal Reasoning and Matching》

Dual Attention Networks for Multimodal Reasoning and Matching

CVPR 2017

图文匹配终极问题是整个Text与整个Image的匹配问题，但是这个问题比较难以解决，所以一个最基本的想法就是把这个问题拆分开来，Text由不同的单词构成，Image由不同的区域构成，如果能把Text的单词与Image的区域进行一个匹配，那么这个问题就会变得比较简单。

一个基本的思路就是使用Attention机制，在网络中自动匹配文本单词与图像区域进行匹配。作者引用了两种Attention机制，分别是：Visual Attention以及Text Attention。

一、Introduction

文章亮点：

1.文章提出双重attention机制：Visual Attention以及Text Attention，用triplet loss度量文本和图像之间的相似性。

2.训练出end-to-end模型

3.同时解决了VQA与Image-Text Matching的问题，提出了r-DAN与m-DAN模型

关注图片中“伞”和文本中“color”

关注语义相同的特定区域和单词，如图片中女孩和“girl”的相似度

二、Model

1.文本特征：将输入文本one-hot向量做