AAAI 2022：基于锚框排序的目标检测知识蒸馏｜AI Drive

「AI Drive」是由 biendata 和 PaperWeekly
共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。

知识蒸馏是模型压缩的有效手段，但是目标检测网络的知识蒸馏方法却很少被研究。

传统的soft label蒸馏，在目标检测任务上基本没有提升。基于这个发现，南京理工大学计算机学院博士李钢和他的团队提出了一种适用于目标检测的锚框排序蒸馏，充分利用了检测网络中，1个目标匹配多个anchor的属性。

此外，他们的研究发现，利用特征蒸馏，虽然可以取得一定的提升，但是特征蒸馏的效率还有很大的提升空间，他们提出利用教师和学生网络的预测差异来引导特征蒸馏，让蒸馏过程更加关注于那些学生网络预测不准的区域。

本期AI Drive，由李钢详细介绍这项工作刊登于AAAI 2022的研究。

主讲人介绍：李钢，南京理工大学计算机学院博士生，研究兴趣为计算机视觉，特别是目标检测，知识蒸馏，自监督、半监督学习。在AAAI, ACM MM等人工智能顶级会议上发表论文多篇。曾在商汤研究院，上海人工智能实验室实习。

论文链接：https://arxiv.org/abs/2112.04840

本文将按照如下四个方向进行讲解（本文ppt，“数据实战派”按后台菜单指示即可获得下载地址，关注视频号“AI Drive”可观看回放）：

l 介绍知识蒸馏的背景
l 介绍锚框排序蒸馏
l 实验分析和结论
l 未来工作展望

一、介绍知识蒸馏的背景

这一页PPT展示的是 coco test benchmark上的前5名的算法结果。

从前5名可以看出，目标检测任务的榜单被大模型所占据。

虽然大模型在各个视觉任务上不断地突破着性能的上限，但是大模型由于效率低，导致它们在端边业务上不可以直接使用。通过知识蒸馏，将大模型的知识传递给小模型，显著提升小模型的性能，从而使端边应用受益，是目前主流的做法。如何将知识从大模型有效地迁移到小模型，是一个非常有价值的研究问题。

二、介绍锚框排序蒸馏