【CVPR 2021】Refine Myself by Teaching Myself : Feature Refinement via Self-Knowledge Distillation

论文地址：

https://arxiv.org/abs/2103.08273

主要问题：

作者认为训练教师模型太耗时间，因此从自我蒸馏入手。作者把自我知识蒸馏归结为两类：基于数据增强的蒸馏方法（b）和基于子网络（c）的蒸馏方法。但是现有蒸馏方法无法保留语义分割/目标检测要求的局部信息，因此作者提出了FRSKD，通过利用辅助自教师网络传输分类器网络的精细知识，使用软标签和特征图来进行自我知识蒸馏。

主要思路：

蒸馏时原始的分类器提供原始特征作为辅助自学网络（蓝色块）的输入，然后自学网络将细化的特征图提取到原始的分类器（橙色线）。

具体实现：

基本符号：

假设 D