「AI Drive」是由 biendata 和 PaperWeekly 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和交流可能会让知识的传播更加有意义,从而产生更大的价值。
本期 AI Drive,我们邀请到南京理工大学计算机学院博士-李钢,为大家在线解读其发表在 AAAI 2022的最新研究成果:基于锚框排序的目标检测知识蒸馏。对本期主题感兴趣的小伙伴,3 月 24 日(周四)晚 7 点,我们准时相约 AI_Drive B 站直播间。
一、直播信息
1、演讲摘要:
知识蒸馏是模型压缩的有效手段,但是目标检测网络的知识蒸馏方法却很少被研究。用于分类任务的soft label,在目标检测上基本没有提升,基于这个发现,我们提出了一种适用于目标检测的锚框排序蒸馏,充分利用了检测网络中,1个目标匹配多个anchor的属性。此外,我们发现,利用特征蒸馏,虽然可以取得一定的提升,但是特征蒸馏的效率还有很大的提升空间。我们提出利用教师和学生网络的预测差异来引导特征蒸馏,让蒸馏过程更加关注于那些学生网络预测不准的区域。在这个工作中,我们在设计蒸馏算法的时候,充分考虑了目标检测的一些重要属性,比如一对多的标签注册,稠密的预测结果。