《Distilling Object Detectors with Fine-grained Feature Imitation》论文笔记

代码地址：Distilling-Object-Detectors

1. 概述

导读：这篇文章是在two stage检测网络Faster RCNN基础上使用知识蒸馏改进亲轻量级网络性能。其中的核心思想是teacher网络中需要传递给student网络的应该是有效的信息，而非无效的背景区域信息，因而文章将backbone输出的特征图与RPN网络输出的结果进行组合，从而得到student网络应该学习的特征，从而指导student网络产生对应的分布从而提升检测的性能。其在VGG11上使用文章的方法实现了相对baseline 15%的提升，整体上文章的思想比较简单，但是实际证明还是很有效的。

在下图中展示了文章网络的大致结构，其中可以看出文章使用Fine-Gained特征图来指导student网络的学习。

以下参考：CVPR19-检测模型蒸馏
之前有两个工作有类似的探索，但是都比较局限于特定框架，且未公布代码，对于具体实现存在一定疑惑。

• 1）论文：Learning efficient object detection models with knowledge distillation，文中使用两个蒸馏的模块：第一，全feature imitation（由FitNets: Hints for Thin Deep Nets 文中提出，用于检测模型蒸馏）, 但是实验发现全feature imitation会导致student 模型performance反而下降，推测是由于检测模型feature 比较大，不同于classification，这其中包含大量的background, 存在大量的noise, 最后通过per-channel vairance 的验证基本确定这个情况。第二，对detection head的蒸馏，这里存在一个很大的问题，就是teacher 和student 的proposal set 不相同，如何进行匹配以便于施加distillation文中没有详述。
• 2）论文：Mimicking very efficient network for object detection.
  这篇文章report 的蒸馏效果确实不错，但是框架仍然比较限定，且蒸馏区域取决于rpn的输出。

2. 方法设计

2.1 Fine-Gained区域提取

文章给出对于有效特征区域提取的流程见下图所示：

对于backbone输出的特征图，假设其大小为$W\ast H$，网络中使用的anchor数量为$K$，则文章对于Fine-Gained区域的提取步骤可以归纳如下（上图中的右边所示）：

• 1）对于给定的特征图按照设置好的anchor信息，生成$W\ast H\ast K$个框，将这些框与GT计算IoU；
• 2）对于这些IoU值，在其中选择最大的IoU值M，在此基础上引入一个参数$\psi \in [0,1]$，文中将这个参数设置为经验值 ψ = 0.5 \psi=0.5