![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
知识蒸馏
文章平均质量分 94
通街市密人有
https://github.com/LinY-ct
展开
-
CrossKD: Cross-Head Knowledge Distillation for Dense Object Detection
知识蒸馏(Knowledge Distillation, KD)是一种有效的学习紧凑目标检测器的模型压缩技术。现有最先进的KD检测方法大多基于特征模仿。在本文中,我们提出了一种通用且有效的预测模拟蒸馏方案,称为CrossKD,它将学生检测头的中间特征传递给教师检测头。由此产生的十字预测,然后被迫模仿老师的预测。这种方式使学生头从注释和老师的预测中接收到相互矛盾的监督信号,大大提高了学生的检测性能。此外,由于模仿老师的预测是KD的目标,与特征模仿相比,CrossKD提供了更多面向任务的信息。原创 2024-07-18 20:56:03 · 1057 阅读 · 0 评论 -
PKD: General Distillation Framework for Object Detectors via Pearson Correlation Coefficient
知识蒸馏(Knowledge distillation, KD)是一种广泛应用于目标检测的训练紧凑模型的技术。然而,对于如何在异构检测器之间进行蒸馏,目前还缺乏相关的研究。在本文中,我们经验地发现来自异构教师检测器的更好的FPN特征可以帮助学生,尽管他们的检测头和标签分配是不同的。然而,直接将特征映射与蒸馏检测器对齐存在两个问题。首先,教师和学生之间特征大小的差异可能会对学生施加过于严格的约束。原创 2024-07-18 20:38:18 · 834 阅读 · 0 评论