将街拍衣物与网络在售衣物匹配,满足购物者的好奇心,作者构建了一个匹配数据库,街拍图像2w张左右,网络在售图像40w张左右,给一个输入衣物,找出其匹配的确定型号。
作者使用了几种检索方法:
1.全图检索:AlexNet的FC6特征,进行余弦距离计算。
2.proposal检索,网络在售的图片没有标记框,提取100个proposal,再用余弦距离计算相似度。
3.相似度学习
使用三层全连接网,正负样本(匹配和不匹配的图像对),前两层全连接网友512个输出,使用ReLU激活,最后一层有两个节点,使用Softmax激活,正负样本分别是街拍图像中衣物的bbox和网售衣物的proposal,最小化cross-entropy损失:
作者首先训练了一个广义的相似度模型,然后对每类衣物微调,得到类别独立的模型:
几类衣物的top-k结果: