作者丨美索不达米亚平原@知乎(已授权)
来源丨https://zhuanlan.zhihu.com/p/477707304
编辑丨极市平台
本文介绍我们CVPR2022关于目标检测的知识蒸馏工作: Focal and Global Knowledge Distillation for Detectors,只需要30行代码就可以在anchor-base, anchor-free的单阶段、两阶段各种检测器上稳定涨点,现在代码已经开源,欢迎大家试用~
文章链接:https://arxiv.org/abs/2111.11837
代码链接:https://github.com/yzd-v/FGD
![d09edfb7a052c9a27b114aa5cad4424d.png](https://i-blog.csdnimg.cn/blog_migrate/38b18f0c8a82d8600416630075d08c38.png)
一、针对问题
1. 目标检测中前背景不平衡问题
前背景的不平衡对于目标检测而言是一个重要的问题,这个问题同样影响着知识蒸馏。
知识蒸馏旨在使学生学习教师的知识,以获得相似的输出从而提升性能。为了探索学生与教师在特征层面的差异,我们首先对二者的特征图进行了可视化。可以看到在空间与通道注意力上,教师与学生均存在较大的差异。其中在空间注意力上,二者在前景中的差异较大,在背景中的差异较小,这会给蒸馏中的学生带来不同的学习难度。
![7d9d00d9b33be95835ca6bcf0966ae5d.png](https://i-blog.csdnimg.cn/blog_migrate/27c113f9cced6e1fc622f158eeda271d.png)
为了进一步探索前背景对于知识蒸馏的影响,我们分离出前背景进行了蒸馏实验,全图一起蒸馏会导致蒸馏性能的下降,将前景与背景分开学生能够获得更好的表现。
![87da2912f5c354ab4631fcc912d92046.png](https://i-blog.csdnimg.cn/blog_migrate/79ef8a9994b572236b65ba9a8589eafe.png)
针对学生与教师注意力的差异,前景与背景的差异,我们提出了重点蒸馏Focal Distillation:分离前背景,并利用教师的空间与通道注意力作为权重,指导学生进行知识蒸馏,计算重点蒸馏损失。
2.全局信息的丢失
如前所述,Focal Distillation将前景与背景分开进行蒸馏,割断了前背景的联系,缺乏了特征的全局信息的蒸馏。为此,我们提出了全局蒸馏Global Distillation:利用GcBlock分别提取学生与教师的全局信息,并进行全局蒸馏损失的计算。
![aeed503ae5532c1fb9b69d52d73208ca.png](https://i-blog.csdnimg.cn/blog_migrate/56d40670f0187616182f657c19d9944e.png)
二、整体框架
FGD仅需要获取学生与教师的特征图,便可完成重点蒸馏损失与全局蒸馏损失的计算,可以很方便的应用到各种类型的检测器上。
![ba596a24dc286ade526d2d2955a97089.png](https://i-blog.csdnimg.cn/blog_migrate/d6673d8f856531455b6513da867ae418.png)
三、实验结果
我们对anchor-based与anchor-free的单阶段与二阶段检测器进行了实验,在COCO2017上学生检测器均获得了大幅的AP和AR提升。
![ac9fe22a7ebcb3138c9e2a3b0fead4cc.png](https://i-blog.csdnimg.cn/blog_migrate/4931c63805cf1838a192a574e5958132.png)
我们采用了具有更强的检测器对学生进行蒸馏,发现当使用更强的模型作为教师进行蒸馏时,FGD为模型能带来更大的性能的提升。例如RetinaNet-R50在ResNet-101和ResNeXt-101的老师蒸馏下,分别可达到39.7和40.7的mAP。
![bf74e3bbc47d3c065109656d725db062.png](https://i-blog.csdnimg.cn/blog_migrate/8a4bf412ad4bb224ce59f0af9fee140b.png)
对于使用FGD蒸馏完成后的学生模型,我们再次进行了注意力的可视化。可以看到,经过FGD训练后的学生,空间注意力和通道注意力的分布与教师都非常相似,这表明学生通过蒸馏学到了教师的知识并获得了更好的特征,由此实现了性能的提升。
![6e89f48379f3b835ccc8cbc63fd3940c.png](https://i-blog.csdnimg.cn/blog_migrate/cad27045338e5c7a80f78a2ec4013378.png)
四、更多蒸馏设置
我们已将代码开源:https://github.com/yzd-v/FGD
代码基于MMDetection实现,易于复现,且已添加更多的教师与学生蒸馏设置,相关结果也在代码中给出,欢迎大家使用。
![201f3b413034fd64606811e32ed1b681.png](https://i-blog.csdnimg.cn/blog_migrate/796d51bcd147f52c2c2c9d43e6e84013.png)
公众号后台回复“数据集”获取50+深度学习数据集下载~
干货下载与学习
后台回复:巴塞罗那自治大学课件,即可下载国外大学沉淀数年3D Vison精品课件
后台回复:计算机视觉书籍,即可下载3D视觉领域经典书籍pdf
后台回复:3D视觉课程,即可学习3D视觉领域精品课程
本文仅做学术分享,如有侵权,请联系删文。
重磅!计算机视觉工坊-学习交流群已成立
扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群,目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近4000星球成员为创造更好的AI世界共同进步,知识星球入口:
学习3D视觉核心技术,扫描查看介绍,3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用,麻烦给个赞和在看~