[FGD] Focal and Global Knowledge Distillation for detectors (CVPR. 2022)

1. Motivation

本文作者指出，在目标检测中，tea和stu之间的特征在不同的区域例如前后景的差别是比较大的。

• In this paper, we point out that in object detection, the features of the teacher and student vary greatly in different areas, especially in the fore- ground and background.

如果用同样的方法蒸馏，那么在特征图上不均匀的差异性会导致蒸馏的效果更差。

• If we distill them equally, the uneven differences between feature maps will negatively af- fect the distillation.

因此本文提出了FGD，分为了focal distillation 和 global distillation。

• Thus, we propose Focal and Global Distillation (FGD).
• Focal distillation separates the fore- ground and background, forcing the student to focus on the teacher’s critical pixels and channels.
• Global distilla- tion rebuilds the relation between different pixels and trans- fers it from teachers to students, compensating for missing global information in focal distillation.

从图1可以得出， 学生网络对于 前景的attention map 比背景的响应是更大的。 这就说明了 蒸馏也是存在着 前后景不平衡的影响。

从表1可以得出，作者在采用解耦fg 和bg的特征时，得到的蒸馏效果确实最差的(38.9)，因此作者构思了focal dis 来获取关键的pixels 和 channels， 同时使用gcblock 提出 全局特征。

本文对于全局特征提取使用的GC Block。

2. Contribution

• We present that the pixels and cha