知识蒸馏之Multi-Scale Aligned Distillation for Low-Resolution Detection

cvpr2021
Lu Qi1†, Jason Kuen2†, Jiuxiang Gu2, Zhe Lin2, Yi Wang1, Y ukang Chen1, Yanwei Li1, Jiaya Jia1,3
1The Chinese University of Hong Kong 2Adobe Research 3SmartMore

0.摘要

作者针对的是高分辨率输入，在不降低输入的分辨率的前提下，通过FPN来训练多尺度的教师，来传授给低分辨率的学生

传统的方法有不对齐的可能

1.损失函数

本文是以全卷积网络为pipeline，损失如下：
Lcls 是classification loss, Lreg 是 bounding box regression loss, and Lctr 是 centerness loss
对齐多尺度学习损失：

2.交叉特征级融合（ Crossing feature-level fusion）

高分辨率的模型在小物体检测中表现更好，低分辨率模型在大物体检测中表现更好，于是作者提出了C-FF模块

在得到multi-resolution 特征图 PsT后，就可以蒸馏给学生模型了。

3.算法流程