【KD】、【reid】Distilled Person Re-identification: Towards a More Scalable System

评论：log distance对我们有参考意义，多teacher其他的研究是面向无监督学习的。

 

Motivation:

面向应用，论文从以下几点出发：

1. 要有低的标注成本。A scalable Re-ID system可以从无标签数据和半标注数据中学习。
2. 要有低的场景扩展成本。当扩展新的场景时，低成本的解决cross domin的问题。
3. 要有低的testing computation（inference计算量）成本。为了应对在芯片上计算的趋势，需要有更轻量级的模型。

 

Contribution:

(1) Reid是一个open-set的识别任务，为其的KD提出Log-Euclidean Similarity Distillation Loss.

(2)提出自适应知识门来聚合多teacher模型来学习轻量级学生网络。
(3)进一步用一个Multi-teacher Adaptive Similarity Distillation Framework来聚合他们，降低标注成本，扩展成本，testing计算成本。（实际上做的是跨域的工作，在无监督，半监督方法中达到SOTA）

 

论文框架：

Teacher model:  trained 5 teacher models T 1, T 2, T 3,