位置蒸馏：针对目标检测提高定位精度的知识蒸馏

今日分享一篇最近新出的目标检测论文『Localization Distillation for Object Detection』

• 论文链接：https://arxiv.org/abs/2102.12252

• 项目链接：https://github.com/HikariTJU/LD

论文作者来自天津大学、哈尔滨工业大学。

      01      

动机

定位的准确性对目标检测算法的性能有很大的影响，而在数据集或者实际应用场景中，位置模糊性（localization ambiguity）是广泛存在的，如下图所示：

上面左图中大象的下边框和右图中冲浪板的右边框是模糊的，很难被检测器检测到，尤其是轻量级的目标检测网络。

在Gaussian yolov3中使用高斯分布对目标边框的不确定性进行建模，GFocal使用一般的离散分布表示目标边框的不确定性，将目标的边框表示为没有任何先验知识限制的离散概率分布。

与上述方法不同，作者将蒸馏学习引入到目标检测网络的定位分支中，提出使用位置蒸馏（简称为LD，Localization Distillation）的方法提高目标框的质量：使用能够解决位置模糊性问题的高性能教师网络，通过蒸馏学习得到学生网络，使得学生网络能像教师网络一样解决位置模糊问题；此外，对于高性能的检测网络使用Self-LD，能够进一步增强网络预测框的精确度。

另外，作者还将Teacher Assistant Strategy引入到LD中，降低使用LD时对教师网络选取的敏感性。

      02      

知识蒸馏基础

知识蒸馏（KD，Knowledge Distillation）使得轻量级的学生网络能够模仿高性能的教师网络，提高学生网络的性能。

使用 表示教师网络， 表示学生网络， 和 分别表示 和 中最后一个FC层的输出，对 和 进行softmax操作得到 和 。

在KD中， 是高性能网络， 是轻量级网络，将 应用到 的训练过程中，使得 同时学习ground-truth 和 的输出 ，损失函数为：

上式中的 表示交叉熵损失， 表示KL散度损失， 表示蒸馏温度， 和 的定义为：

在蒸馏学习过程中，只更新 的权重 ， 的权重