动机
从背景区域对小网络进行蒸馏也是很重要的,并且说明了不同区域的特征对蒸馏起到的作用。主要蒸馏区域为neck(FPN)和分类头。从直观上而言,论文标题中的解耦特征指的就是前景和背景的特征和logits分别拿出来,前背景分别计算损失,两者通过一个参数来进行平衡。
Method
neck特征蒸馏
对neck部分的特征进行整理。与其他方法类似,首先利用GT在neck(通常为FPN)特征区域生成一个前景(值为1)和背景(值为0)特征的二值mask M,然后对前景和背景区域的特征分别计算L2 蒸馏损失,其中M代表上述二值图,N代表前景或者背景特征图中所有像素点的个数,即归一化参数,α代表前背景的损失权重。值得注意的是,其他大部分检测知识蒸馏的都是只对正样本,或者取相似比例的前背景特征进行蒸馏,此文直接对所有的前背景特征均进行蒸馏,调整前背景不同的权重值,φ应该是指一个adaptationlayer。