DarkRank:Accelerating Deep Metric Learning via Cross Sample Similarities论文初读

目录

摘要

引言

相关工作

  深度度量学习

  知识迁移

背景

本文的方法

  出发点

  公式

实验

结论

---

摘要

对于模型压缩和加速，提出了交叉样本相似性知识，这类知识可以从深度度量模型中得到

为了迁移这类知识，本文将“learning to rank” 技巧带入了深度度量学习公式中

在很多度量学习任务（pedestrian re-identification, image retrieval and image clustering）上测试了本文提出的 DarkRank 方法

和存在的方法有互补的作用

引言

传从的知识蒸馏只是针对实例级别的知识，我们将实例间的关系也作为一种只是来学习，这些知识也会编码了teacher网络嵌入空间（个人理解为模型分布）的结构信息

实例间的关系信息与度量学习的目标相符，因为这种关系利用了相似实例的监督信息

如Figure 1右上角所示，经过关系学习后，student网络更好的捕捉了实例间的关系，比如和6更像的0排在3， 4， 5的前边

总结：

1. 在深度度量学习中，为知识迁移引入了一种新类型的知识--交叉样本相似性
2. 将这种关系描述为一种在teacher和student网络中的rank匹配的问题，修改了经典的list-wise方法
3. 在很多度量学习的任务上测试了该方法，重大提升了student网络的性能。并且和存在的方法互补

相关工作

  深度度量学习

传统度量学习方法专注于在欧式空间或者高维核空间中学习马氏距离

深度度量学习方法一般都是用DNN将输入处理成特征，然后在欧式空间中直接比较样本之间的差异

度量学习方法的要以在于分离类间向量，减少类内的方差

分类损失函数和变体可以学习到鲁棒的特征，将不同类别的样本分开，对于样本外的实例，性能是无法保障的，因为在这种方法中是没有显示的度量来引导；这种方法的另一个缺点是，他会将标签一致的