Dual Attention Networks for Multimodal Reasoning and Matching
CVPR 2017
图文匹配终极问题是整个Text与整个Image的匹配问题,但是这个问题比较难以解决,所以一个最基本的想法就是把这个问题拆分开来,Text由不同的单词构成,Image由不同的区域构成,如果能把Text的单词与Image的区域进行一个匹配,那么这个问题就会变得比较简单。
一个基本的思路就是使用Attention机制,在网络中自动匹配文本单词与图像区域进行匹配。作者引用了两种Attention机制,分别是:Visual Attention以及Text Attention。
一、Introduction
文章亮点:
1.文章提出双重attention机制:Visual Attention以及Text Attention,用triplet loss度量文本和图像之间的相似性。
2.训练出end-to-end模型
3.同时解决了VQA与Image-Text Matching的问题,提出了r-DAN与m-DAN模型
关注图片中“伞”和文本中“color”
关注语义相同的特定区域和单词,如图片中女孩和“girl”的相似度
二、Model
1.文本特征:将输入文本one-hot向量做