Generalizing Fine-Grained Sketch-Based Image Retrieval

Generalizing Fine-Grained Sketch-Based Image Retrieval

解决问题：将草图作为查询模式，在不同照片类中，实现匹配特定照片实例的图像检索，实现sketch images-photos。

主要思想：VTD特征描述符，在每一个bar类型，可视化草图的类别，并突出其中一个类别以及三个具有代表性草图的实例，即将任何一个草图通过VTD maps k个独特视觉特征符DS。其次，构造一个具有三重损失的动态参数化特征提取器，利用生成的描述符对特征提取和检索进行调整，最终得到检索结果。

创新点：（1）在每一个深度神经网络上都添加了注意力模块，对特征的学习更多关注到显著性区域；（2）通过对一个特征融合的方式将粗糙和细致的语义信息进行了融合；（3）引入了一个基于高阶可学习的能量损失（距离）函数，建立了两个模态特征之间的关联关系，使其对不同的模态未对齐的特征具有更好的鲁棒性。