IMPROVE OBJECT DETECTION WITH FEATURE-BASEDKNOWLEDGE DISTILLATION: 论文和源码阅读笔记

paper：https://openreview.net/pdf?id=uKhGRvM8QNH

code：https://github.com/ArchipLab-LinfengZhang/Object-Detection-Knowledge-Distillation-ICLR2021

1、摘要：

    开篇paper提到kd之所以在目标检测上的失败主要是两个原因：1、前景和背景之间的像素不平衡。 2、缺乏对不同像素之间的关系的蒸馏。基于这两个原因，本文提出了注意力引导机制和non-local机制来解决，让学生网络能够更加努力的学习teacher的模型，这样不仅能够单个像素的特征，还能够学习non-local模块捕获不同像素之间的关系，paper在one-stage、two-stage、anchor-free上都实现了ap的提升。

 1、Introduction

开始介绍了kd在object detection应用难的问题，如下所示：

    1、Imbalance between foreground and background

    在待检测图像中，背景像素比前景像素更多，在本文之前的kd，student总是被训练区模仿相同特征的所有像素的特征，因此student将大部分注意力都放在了背景像素里面，这抑制了对前景像素的学习，因此本文提出了注意力引导kd的机制，它只蒸馏关键的前景像素，采用注意力机制作为kd的mask，像素中具有较高的注意力值的可以视为前景对象的像素，然后student更高优先级的去学习

    2、Lack of distillation on relation information.

    现有的kd方法只考虑了单个像素的信息或者特征&#x