Graph Structured Network for Image-Text Matching
该论文认为,现在的工作学习图文匹配时,是基于不同模态的对象共同出现的共现统计数据来学习“粗糙”对应关系的,这忽略了短语之间的细粒度语义相关。所以作者提出了将region和word构建为无向图结构,通过对无向图mulit-block的match来计算相似度。
其主要可以分为图构建,node-level matching 和structure-level matching。
sentence图构建的时候,使用stanford CoreNLP来获取文本的语义semantic dependency,令每一个word为一个node,在semantic dependency中有直接关系的node进行连接,得到文本的无向图。然后通过相似矩阵计算得到文本的权重矩阵We。此外,该论文还为sentence构建了一个fully connected graph 。
visual graph构建的时候,将每个region设置为一个node,然后构建一个fully connected graph,并使用极坐标对为visual graph的edge weight matrix。
随后对模型进行node-level matching,首先计算visual和textual node的相似性,然后求得每个visual node与textual的相关性,并根据相关性求得Cti。然后使用文本的第i个特征和相关的聚合图像节点进行计算余弦距离,并将得到的余弦距离concate起来。此外也对视觉结点进行相同的操作。
将concate后的余弦距离用来进行structure-level matching,使用GCN来对每一个节点以及其相邻信息进行卷积,然后将所有节点输入到一个MLP网络中计算得到最终的结果。
疑问
这篇论文使用semantic dependency来构建sentence的无向图,并且也构建了fully connected 的无向图来表示sentence的结构,在最后的实验结果中取得最好成绩的是两个图都使用了的结构,但是该论文中也没有详细提及如何把两个图结合来指示sentence… …
此外,在image graph中对fully connect的图进行图卷积,那好像和注意力机制没啥区别了… …