跨模态图文检索：使用生成模型改进文本-视觉跨模态检索

《Look, Imagine and Match: Improving Textual-Visual Cross-Modal Retrieval with Generative Models》（2018 CVPR）

这篇文章提出了一种改进的跨模态检索方法，即，将生成式模型纳入文本视觉特征嵌入中，以进行跨模态检索。

传统的跨模态检索用的都是高层的全局抽象特征，而这篇文章还引入了基于两种生成模型的局部底层特征，从而捕捉到两种模态的数据之间更加细粒度的关联。

主要思想

提出的框架如图所示：

整个系统由3条训练路径组成。整个上半部分是第1条路径，由一个图像编码器和两个句子编码器组成，将不同模态的特征映射到一个公共空间中。这个类似于现有的大多数跨模态特征嵌入方法，但区别在于这里使用了两个特征嵌入分支，即将特征分成了高级抽象特征和底层特征。底层特征在后面两条路径中会用到。在第一条路径里，使用两个连续的语句编码器（例如GRU）来获取语义特征；对于图像编码，则使用在ImageNet上经过预训练的CNN来提取特征。特征嵌入和特征映射用这两个式子表示：

括号里表示编码过程，外部函数是一个线性转换函数，表示从原始文本/图像到公共语义空间的映射过程。使用成对排名损失函数来对这个过程进行优化。

第二条路径是图像到文本的训练路径，目标是用底层视觉特征生成接近真实文本的语句，由一个图像编码器和一个语句解码器组成。首先用图像编码器对图像进行编码，然后用语句解码器将图像编码解码生成一个语句。和传统的RNN文本生成模型一样，这里用到了交叉熵损失函数：

但是交叉熵损失知识一个单词级别的度量，为了确保生成文本呃可读性和流畅性，这里加入了强化学习损失函数：


在优化过程中，首先对交叉熵损失进行优化，然后再对整体损失进行优化。这是为了实现退火算法和更快地达到收敛。

第三条路径是文本到图像的训练过程，目标是用底层文本特征生成尽可能真实的图像，由两个语句编码器和一个对抗模型组成。其中，生成对抗模型由一个鉴别器和一个生成器组成，两者进行min-max博弈，对应的损失函数如下：

这里给出了一个伪算法。for循环里的语句分别对应3条路径，下面2个函数分别表示路径2和3的实现过程。

实验结果

在MSCOCO大型数据集上进行了实验。

创新点

将生成模型融到传统的跨模态检索过程中，将高层抽象特征和底层特征相结合，得到的GXN框架的检索性能显著优于最先进的方法

future work

还可以尝试其它的鉴别器或生成器，进一步提高生成图像的质量。