![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Knowledge Distillation
moonuke
深度学习的凹酱
展开
-
Knowledge Distillation总目录
论文 简介 链接原创 2019-09-29 16:33:48 · 170 阅读 · 0 评论 -
【KD】基础知识
1,让student minic teacher feature的方式(LOSS):(1)KL散度(2)欧式距离(3)L2mimic loss (face)Q. Li, S. Jin, and J. Yan. Mimicking very efficient network for object detection. In 2017 IEEE Conference on C...原创 2019-09-30 18:11:33 · 607 阅读 · 0 评论 -
【KD】Correlation Congruence for Knowledge Distillation
Paper: Correlation Congruence for Knowledge Distillation1, Motivation:通常情况下KD的teacher模型的特征空间没考虑类内类间的分布,student模型也将缺少我们期望的类内类间的分布特性。Usually, the embedding space of teacher possesses the charac...原创 2019-09-30 18:11:58 · 1672 阅读 · 0 评论 -
【KD】、【reid】Distilled Person Re-identification: Towards a More Scalable System
评论:log distance对我们有参考意义,多teacher其他的研究是面向无监督学习的。Motivation: 面向应用,论文从以下几点出发:要有低的标注成本。A scalable Re-ID system可以从无标签数据和半标注数据中学习。 要有低的场景扩展成本。当扩展新的场景时,低成本的解决cross domin的问题。 要有低的testing computatio...原创 2019-10-06 10:42:50 · 956 阅读 · 0 评论