多任务学习“Exploiting Multi-Grain Ranking Constraints for Precisely Searching Visually-similar Vehicles”

multi-grain ranking约束用于车辆精确检索。其中一个是Generalized Pairwise Ranking(GPR),将二值的相似/不相似关系泛化到广义的多层关系,(0/1)到(0/1/2/3…n)。另外一个是Multi-Grain based List Ranking(MGLR),使用一组具有多层关系的图像训练,ranking对应多次关系,使用组合概率对multi-grain list打分,并使用似然损失函数优化ranking。构建了两个大的车辆数据库,VD1和VD2,分别包含100万张和80万张图片。

除了车辆品牌型号、颜色,车辆的ID也是一个重要的属性,可以用它来训练网络(ID训练不是第一次被使用吧)。作者将车辆图像间的关系分成多级,第一级是同一辆车,第二级不是同一辆车、但具有相同的品牌型号颜色,第三级具有相同的品牌型号、但颜色不同,第四级所有属性均不同。

相关研究
相似度约束,Siamese网络输入为相似和不相似的图像对,并用两个分支最小化成对contrastive 损失。这种方法也常用于人脸验证、行人Re-ID。Deep-ID2联合优化分类和验证损失。也有用Triple 损失用于人类识别、形容Re-ID。

多层关系
多层标记,多层列表 (a,R1,R2,....,Rn) ,多层排序问题的距离约束为:
这里写图片描述
三元损失和四元损失是特殊情况。但这种强距离约束优化比较困难,论文提出了GPR和MGLR。
1. GPR
输入图像组织为MGL,参考图像的特征与锚图像特征融合,使用softmax分类器估计每对输入图像处在相似的哪一级。GRP的损失函数为:
这里写图片描述
其中 p(i,k) 代表第i对图像在k级的grain估计, g(i) 。除了GPR损失,多属性分类也引入网络进行多任务学习,这里有三个属性,即ID、品牌型号、颜色,损失函数为:
这里写图片描述
网络结构为:
这里写图片描述
2. MGLR
list-wise Ranking problem。提取所有图像特征后,参考图像和锚图像相似度计算:
这里写图片描述

定义参考图像的组合 π=<π(1),π(2),...,π(N)> π(i) 表示第i级的参考图像,所有可能组合总数为 N! 。不同的组合具有不同的似然值,使用似然概率计算:
这里写图片描述
sπ(j) 表示相似度, ϕ() 是一个正增函数,只有当组合呈下降的排序时组合概率为最大似然之。这样就需要学习更好的特征,是的组合更接近真值。使用listMLE,将真值组合的负log估计作为损失函数:
这里写图片描述
网络结构为:
这里写图片描述

实验结果
将ID作为主要属性,品牌型号和颜色也加入做多任务训练,在VehicleID上做ID分类:
这里写图片描述

MGCR
使用GoogleNet进行多属性训练,得到初始权值,ranking-学习在此基础上微调,对GPR,特征融合的方式是串联。
这里写图片描述

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页