直播 | 孙剑团队最新工作：用于物体检测的实例条件知识蒸馏 | NeurIPS 2021

近期，旷视孙剑团队最新工作提出了一种新的目标检测知识蒸馏框架：实例-条件知识蒸馏（ICD）方法利用实例-特征交叉注意力来选择和定位与人类观察到的实例相关的知识，性能表现SOTA，这篇论文已经开源（地址：https://github.com/megvii-research/ICD），并已被NeurIPS收录为poster论文。

论文链接：https://arxiv.org/pdf/2110.12724.pdf

单位：西安交通大学, 旷视(孙剑、张祥雨等人)

尽管知识蒸馏（KD）在图像分类上取得了成功，但由于定位知识的困难，将知识蒸馏应用于目标检测仍然具有挑战性。文中提出了一个实例条件蒸馏框架来寻找所需的知识。智源社区特邀请了论文作者之一张培圳做相关报告分享。

主讲人：张培圳2019入职旷视研究院基础模型组，目前的研究方向为目标检测与知识蒸馏。张培圳分别于2016 和 2019 年获得中山大学计算机系学士与硕士学位，师从计算机学院副院长郑伟诗教授。

主题：NeurIPS 2021| 用于物体检测的实例条件知识蒸馏 (Instance-Conditional Knowledge Distillation for Object Detection)

时间：2021年12月2日（周四）19：00~20：00

形式：线上

扫码报名：

入会方式：

腾讯会议-ID：565-928-375

直播地址一：

https://event.baai.ac.cn/activities/204

直播地址二：

http://live.bilibili.com/21484823

报告简介：与分类不同, 检测图片散布着各式目标, 而有效的蒸馏区域与实例位置相关又不完全等同。本文提出实例条件知识蒸馏:

a. 将实例标注编码的查询 (query) 表征与教师网络提取的关键 (key) 表征计算关联系数, 期望高系数处为空间中有效蒸馏区域

b. 为学习靠谱关联系数, 引入含定位和识别的辅助任务进行监督

c. 关联系数将以掩膜的型态, 在学生和教师网络的特征蒸馏时使用

实验表明, 此方法能显著提升学生检测器的效果, 有时甚至青出于蓝 (超越教师)。我们将在分享中介绍此方法的设计思路。

---

欢迎加入智源社区「计算机视觉」交流群