【零样本草图检索】A Zero-Shot Framework for Sketch Based Image Retrieval

Abstract

基于草图的图像检索(SBIR)是给定手绘草图，从自然图像数据库中检索图像的任务。现有的评价方法主要关注粗粒度的检索，即检索与草图属于同一个类别的图像，而不一定具有与草图相同的形状特征。而这导致现有方法只是简单地学习如何将草图与seen class联系起来，而无法推广到unseen class。因此，本文提出zero-shot SBIR，在unseen class上评价模型性能。并且，通过实验证明了现有的SBIR方法（基于判别式方法训练）只能学习到sketch-image到类别的映射关系（class specific mappings），无法推广到zero-shot场景。为了避免这种情况，提出生成式方法（基于Variational Autoencoders和Adversarial Autoencoders的深度条件生成模型），将草图作为输入，并随机填充缺失信息（通过生成草图中缺失的信息来检索相似图像）。

Motivations

1、基于视觉描述的图像检索（以图搜图）比基于文本的图像检索（以文搜图）具有更强的表达能力，而视觉描述不仅指自然图像，也可以是手绘草图（当自然图像难以获得时，用户可以在触屏设备上简单手绘草图）。SBIR的主要挑战是image和sketch之间的domain gap，sketch只有物体的轮廓，与image相比只有很少的信息。另外，sketch的类内方差大，因为人们在绘制草图时会有不同程度的抽象。因此，为了更好的泛化能力，SBIR模型需要能挖掘sketch和image之间的对齐关系。

2、但