点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
作者:美索不达米亚平原 | 已授权转载(源:知乎)编辑:CVer
https://zhuanlan.zhihu.com/p/477707304
本文介绍我们CVPR2022关于目标检测的知识蒸馏工作: Focal and Global Knowledge Distillation for Detectors,只需要30行代码就可以在anchor-base, anchor-free的单阶段、两阶段各种检测器上稳定涨点,现在代码已经开源,欢迎大家试用~
Focal and Global Knowledge Distillation for Detectors
文章链接:arxiv.org/abs/2111.11837
代码链接:github.com/yzd-v/FGD
![cf0c9b2e23950ba19dfdc0336dde5179.png](https://i-blog.csdnimg.cn/blog_migrate/93f5cd8448f0cf829d57f3b9d04eb1d8.png)
一、针对问题
1. 目标检测中前背景不平衡问题
前背景的不平衡对于目标检测而言是一个重要的问题,这个问题同样影响着知识蒸馏。
知识蒸馏旨在使学生学习教师的知识,以获得相似的输出从而提升性能。为了探索学生与教师在特征层面的差异,我们首先对二者的特征图进行了可视化。可以看到在空间与通道注意力上,教师与学生均存在较大的差异。其中在空间注意力上,二者在前景中的差异较大,在背景中的差异较小,这会给蒸馏中的学生带来不同的学习难度。
![df9891dc05d877fb9ea5f02ee28c688f.png](https://i-blog.csdnimg.cn/blog_migrate/b29d9ebc3ef05ec2c93bdaeeca058764.png)
为了进一步探索前背景对于知识蒸馏的影响,我们分离出前背景进行了蒸馏实验,全图一起蒸馏会导致蒸馏性能的下降,将前景与背景分开学生能够获得更好的表现。
![ee4d11e1d57763b99469e128a4465fca.png](https://i-blog.csdnimg.cn/blog_migrate/599b52e91bac05b6737e45139177ad87.png)
针对学生与教师注意力的差异,前景与背景的差异,我们提出了重点蒸馏Focal Distillation:分离前背景,并利用教师的空间与通道注意力作为权重,指导学生进行知识蒸馏,计算重点蒸馏损失。
2.全局信息的丢失
如前所述,Focal Distillation将前景与背景分开进行蒸馏,割断了前背景的联系,缺乏了特征的全局信息的蒸馏。为此,我们提出了全局蒸馏Global Distillation:利用GcBlock分别提取学生与教师的全局信息,并进行全局蒸馏损失的计算。
![c9a75138c063753347bc0cec46efd96b.png](https://i-blog.csdnimg.cn/blog_migrate/2c5c05fac03c379c85b06e5c80510039.png)
二、整体框架
FGD仅需要获取学生与教师的特征图,便可完成重点蒸馏损失与全局蒸馏损失的计算,可以很方便的应用到各种类型的检测器上。
![7684b9049d7392c83a0183b4034b1c51.png](https://i-blog.csdnimg.cn/blog_migrate/d39f5097831b7a0e93b587fade674689.png)
三、实验结果
我们对anchor-based与anchor-free的单阶段与二阶段检测器进行了实验,在COCO2017上学生检测器均获得了大幅的AP和AR提升。
![7d38fc92e96c7f250b0f27b64970b3be.png](https://i-blog.csdnimg.cn/blog_migrate/8a91f1149d317625dc71918384d85a70.png)
我们采用了具有更强的检测器对学生进行蒸馏,发现当使用更强的模型作为教师进行蒸馏时,FGD为模型能带来更大的性能的提升。例如RetinaNet-R50在ResNet-101和ResNeXt-101的老师蒸馏下,分别可达到39.7和40.7的mAP。
![5669b29d088dda85caa009eea26dfbf1.png](https://i-blog.csdnimg.cn/blog_migrate/ec67db82e26831378658b6d81763e2b8.png)
对于使用FGD蒸馏完成后的学生模型,我们再次进行了注意力的可视化。可以看到,经过FGD训练后的学生,空间注意力和通道注意力的分布与教师都非常相似,这表明学生通过蒸馏学到了教师的知识并获得了更好的特征,由此实现了性能的提升。
![776f4b943150dc53cdcb3bdf32f4fa8a.png](https://i-blog.csdnimg.cn/blog_migrate/a9d55d6f5619a6092475b8c12acb9d22.png)
四、更多蒸馏设置
我们已将代码开源:github.com/yzd-v/FGD
代码基于MMDetection实现,易于复现,且已添加更多的教师与学生蒸馏设置,相关结果也在代码中给出,欢迎大家使用。
![8481ac0251eea4b0c6ca652e302ccffb.png](https://i-blog.csdnimg.cn/blog_migrate/f68043c9ea89e937fc73780d25095ae0.png)
ICCV和CVPR 2021论文和代码下载
后台回复:CVPR2021,即可下载CVPR 2021论文和代码开源的论文合集
后台回复:ICCV2021,即可下载ICCV 2021论文和代码开源的论文合集
后台回复:Transformer综述,即可下载最新的3篇Transformer综述PDF
CVer-目标检测交流群成立
扫码添加CVer助手,可申请加入CVer-目标检测 微信交流群,方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。
一定要备注:研究方向+地点+学校/公司+昵称(如目标检测+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群
▲长按加小助手微信,进交流群
CVer学术交流群(知识星球)来了!想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料,欢迎扫描下方二维码,加入CVer学术交流群,已汇集数千人!
▲扫码进群
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看