Distilled Person Re-identification Towards a More Scalable System
当前的问题及概述:
目前RGB-RGB ReID包含3个问题:(1)通过减少标签量来降低标签成本;(2)通过重用现有知识来降低扩展成本;(3)通过使用轻量级模型来降低测试计算成本。这三个问题本文统称为可扩展性问题。
因此,本文基于这一问题,提出了一个可扩展自适应Re-ID系统。首先,本文提出了Multi-teacher Adaptive Similarity Distillation Framework,通过已训练好的教师模型扩展到一个新的场景时,使用新场景的未标记数据和少量标记数据,将教师模型中的知识转移到轻量级学生模型中,而不需要使用可能无法访问的源域数据,如图一。其次,本文提出Log-Euclidean Similarity Distillation Loss ,进一步集成了自适应知识集成器来选择有效的教师模型来转移目标自适应知识。
模型及loss:
利用了嵌入在相似性中的知识,使学生模型模仿教师模型的成对相似性。A表示成对相似矩阵,学生模型HS和教师模型HT的成对相似矩阵分别用AS和AT表示。为了将知识从教师传递给学生,我们将学生相似矩阵AS与教师相似矩阵AS之间的距离最小化,其中,dist(·)是相似矩阵的距离度量: