ITM(四)Multi-Level Visual-Semantic Alignments with Relation-Wise Dual Attention Network for ITM

背景

这篇论文的工作来自华南理工大学，论文接受于IJCAI2019

动机

现有的方法通常只考虑具体的object实体和keyword的对应关系，而不考虑抽象的对象，例如对于某种行为的描述。对某种行为的描述，在现实世界的描述文本中也普遍存在。处理抽象对象的challenge是它们之间没有显式的联系，不像图像中具体的objects那样。作者提出一种关系上的双重关注网络(relation-wise dual attention network，RDAN)用于图像-文本匹配。RDAN与普通的DNN网络的区别：

（除了确定的视觉实体与word之间的对齐，还要考虑抽象对象之间的潜在联系，故取名为多级 visual-text alignments）
如何捕捉潜在的视-语义关系，准确推断多层次的视-语义对齐，是进一步打破视觉与语言边界的关键。

网络结构

方法

视觉-语义的关系CNN模块
在获取到regions与words的相似度矩阵后，利用三种尺寸不同的卷积核：3x1卷积捕捉1词与3个区域的联系；1x3卷积捕捉1区域与3词的联系；3x3卷积用于3元词组和3元区域的联系