【零样本草图检索】Doodle to Search: Practical Zero-Shot Sketch-based Image Retrieval

Motivations

sketch的数量和种类都很少，所以发展ZS-SBIR。而存在三个问题：sketch与image的domain gap；sketch的高度抽象；ZSL中从seen class到unseen class的语义迁移。需要合适的数据集能够包括上述挑战。

Contributions

1、发布新数据集QuickDraw-Extended。首先，数据集能模拟sketch与image之间的差距（比Sketchy、TU-Berlin更抽象）。其次，为了学习sketch与image之间的较好的cross-domain embedding，需要数据集足够大，包含了330000张sketch，204000张image，110个类别。

2、提出 cross-domain zero-shot embedding model。基础网络是triplet ranking model，此时在Sketchy、TU-Berlin上的效果已经优于之前的方法，可能是由于之前的数据集不够抽象而且缺乏多样性，简化了问题。为了学习更好的 cross-domain迁移模型，提出domain disentanglement strategy，通过强制网络学习domain-agnostic embedding来弥补domain gap，其中Gradient Reversal Layer (GRL)能够使得encoder提取sketch与image的交互信息。其次，提出semantic loss来保留语义信息。通过只对decoder输入端的负样本应用GRL，可以帮助encoder分离相似类别的语义信息。

Methods

整体框架分为两个主要部分，第