image-text matching(二)Expressing Objects just like words: Recurrent Visual Embedding for ITM

背景

本篇论文的工作来自罗彻斯特大学。已被AAAI2020接收

动机

作者指出之前的工作仅考虑图像中单个的object与caption的关系可能导致误匹配。某些时候，这些objects可以联立起来共同确定图像是否与文本相对应。一个误匹配的例子，仅考虑单个region与各个词的联系忽略了regions之间的语义关系。如该mismatch的例子，Two people riding skis…，每个people区域都与句子高度关联，但却要联合建模regions的语义，才能确定是图上是"Two people"

方法

作者提出Dual Path Recurrent Neural Network (DP-RNN)，以RNN处理图像和文本特征，故构成双路RNN。个人理解，本文的创新点在于把RNN用来处理图像特征，使得图像region似乎也具有上下文一般。
利用RNN联合多个regions的语义，彷佛regions也有上下文一般。这样的话，对于不同的captions，也有相应多样的图像特征。