多任务学习“Embedding Label Structures for Fine-Grained Feature Representation”

论文使用多任务学习框架进行精细的车辆分类,同时学习分类和相似度约束。车辆分类可以分为多层,如品牌、型号、年款,为了对多层之间相关性进行建模,使用triplet loss,将标记的结构如hierarchy的或者shared attributes嵌入到框架中。

为了获得精细粒度的特征表示,一些方法加入similarity 约束,如contrastive、tiplet损失。直接使用相似度约束在找相同的实例中比较有效,但分类的精度与分类损失相比要低。

相关研究
细粒度分类相关的研究,part-level加object-level信息,distance-metric学习。相似度约束学习到的特征表示一般用来验证。有论文用softmax loss+contastive约束,本文使用triplet约束+softmax loss。

方法描述
sotmax 损失:
这里写图片描述
triplet loss,三元组(r,p,n),r是参考图像,p是与r相同类的样本,n是不同类的样本:
这里写图片描述

两个损失的加权组合:
这里写图片描述

联合学习的网络结构为:
这里写图片描述

嵌入标记结构:
对于两层结构,构造四元组 (ri,p+i,pi,ni) <script type="math/tex" id="MathJax-Element-100">(r_i,p_i^+,p_i^-,n_i)</script>,负样本包括在粗糙层同类的样本 pi <script type="math/tex" id="MathJax-Element-101">p_i^-</script>,和不同类的负样本 ni <script type="math/tex" id="MathJax-Element-102">n_i</script>。四元组的损失可以分成两个三元组表示:
这里写图片描述

实验结果
这里写图片描述

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页