本文探讨了跨模态检索领域的最新进展，重点介绍了ECCV2020和CVPR2020的两篇论文。这两篇论文提出将图像和文本特征映射到共享空间，利用图结构网络捕捉语义关联，以提升图像-文本匹配的性能。文章分析了共识知识和词组关联如何改善匹配准确度，并讨论了未来可能的研究方向。
Paper with notes on Cross-Modal Retrieval
Background
这里研究的跨模态检索主要是图像-文本匹配(Image-Text Matching)。跨模态检索模型的输入是两种模态信息（图片和句子），输出是他们的相似度。继而利用模型在一堆图片/句子中挑出与待查询句子/图片最匹配的结果。因此评价指标也通常有Text-Retrieval 和 Image Retrieval两个方面。跨模态检索后的结果为图1所示。
Mainstream Methods
目前主流的跨模态检索模型，都有一个共同的目标，即将两个模态的数据特征提取到同一特征空间，然后在这特征空间内进行相似度计算。总的来说，不同的模型都进行改进的方法，都在于如何什么提取出更利于匹配的特征，具体来说，模型的pipeline大至如下：
最低0.47元/天 解锁文章
扫一扫
5039
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
