Generalizing Fine-Grained Sketch-Based Image Retrieval
解决问题:将草图作为查询模式,在不同照片类中,实现匹配特定照片实例的图像检索,实现sketch images-photos。
主要思想:VTD特征描述符,在每一个bar类型,可视化草图的类别,并突出其中一个类别以及三个具有代表性草图的实例,即将任何一个草图通过VTD maps k个独特视觉特征符DS。其次,构造一个具有三重损失的动态参数化特征提取器,利用生成的描述符对特征提取和检索进行调整,最终得到检索结果。
创新点:(1)在每一个深度神经网络上都添加了注意力模块,对特征的学习更多关注到显著性区域;(2)通过对一个特征融合的方式将粗糙和细致的语义信息进行了融合;(3)引入了一个基于高阶可学习的能量损失(距离)函数,建立了两个模态特征之间的关联关系,使其对不同的模态未对齐的特征具有更好的鲁棒性。