Cross-Modal Retrieval

Background

这里研究的跨模态检索主要是图像-文本匹配(Image-Text Matching)。跨模态检索模型的输入是两种模态信息（图片和句子），输出是他们的相似度。继而利用模型在一堆图片/句子中挑出与待查询句子/图片最匹配的结果。因此评价指标也通常有Text-Retrieval 和 Image Retrieval两个方面。跨模态检索后的结果为图1所示。

Mainstream Methods

目前主流的跨模态检索模型，都有一个共同的目标，即将两个模态的数据特征提取到同一特征空间，然后在这特征空间内进行相似度计算。总的来说，不同的模型都进行改进的方法，都在于如何什么提取出更利于匹配的特征，具体来说，模型的pipeline大至如下：