简笔画检索“Sketch Me That Shoe”

http://www.eecs.qmul.ac.uk/~qian/Project_cvpr16.html

问题提出及应用 
根据绘制的简笔画进行图像检索，存在几个挑战： 
1.跨域精细比对 
2.简笔画高度抽象 
3.数据少

简笔画存在一定的应用空间，比如下图搜索商品，还有人脸简笔画库CUKH Face Sketches。 

网络结构 
论文使用的基准网络结构是sketch-a-net，对其进行了两个改动，一是由ImageNet提取的边缘预训练，二是对数据进行了增强。

精细实例级 SBIR 数据库 
1.有1432个简笔画和图像，716个图像对，419对鞋子，297对椅子。 
2.数据标记，按照相似度标记不大可能，按照1）属性标记；2）生成最相似的前10个图像；3）三元组标记

网络模型 
网络使用三元组损失函数学习，给定三元组t=(s,p+,p−)t=(s,p+,p−)，损失函数为： 
 
训练时，网络有三个分支，分别为简笔画，正样本和负样本，如下图所示: 
 
网络训练分四步： 
1.预训练Sketch-a-Net，使用ImageNet的边缘图 
2.使用250类的TU-Berlin微调网络 
3.使用ImageNet和TU-Berlin的数据进行三元组损失预训练 
4.使用椅子和鞋子的数据微调

数据增加 
根据外轮廓比内细节重要，长的笔画比短的重要的特点移除一部分笔划，或变形一部分笔画对数据增加。

实验结果 

--------------------- 
作者：cv_family_z 
来源：CSDN 
原文：https://blog.csdn.net/cv_family_z/article/details/52248784 
版权声明：本文为博主原创文章，转载请附上博文链接！