VisualSparta: Sparse Transformer Fragment-level Matching for Large-scale Text-to-Image Search

表现SOTA！在准确性和效率上都显著提高，可对大规模数据集进行实时搜索，性能优于CVSE、PFAN等网络。

注1：文末附【Transformer】流群

注2：整理不易，欢迎点赞，支持分享！

VisualSparta: Sparse Transformer Fragment-level Matching for Large-scale Text-to-Image Search

• 作者单位：CMU, SOCO(美国公司)
• 论文：https://arxiv.org/abs/2101.00265

文本到图像的检索是多模态信息检索中的一项基本任务，即在给定文本查询的情况下从大型且未标记的图像数据集中检索相关图像。在本文中，我们提出了VisualSparta，这是一种新颖的文本到图像检索模型，该模型在准确性和效率上都比现有模型显著提高。

部分细节如下：

我们证明VisualSparta能够胜过MSCOCO和Flickr30K中所有以前的方法。它还显示了实质性的检索速度优势，即对于具有100万张图像的索引，与标准矢量搜索相比，VisualSparta的速度提高了391倍。

主要贡献：

实验结果

实验表明，对于较大的数据集，这种速度优势甚至更大，因为VisualSparta可以有效地实现为反向索引。据我们所知，VisualSparta是第一个基于Transformer的文本到图像检索模型，可以实现对非常大的数据集的实时搜索，与以前的最新方法相比，其准确性显著提高。

CVer-Transformer交流群

建了CVer-Transformer交流群！想要进Transformer学习交流群的同学，可以直接加微信号：CVer9999。加的时候备注一下：Transformer+学校+昵称，即可。然后就可以拉你进群了。

强烈推荐大家关注CVer知乎账号和CVer微信公众号，可以快速了解到最新优质的CV论文。