#今日论文推荐#ECCV 2022 | 清华&字节提出MGD：适用于分类/检测/分割的生成式知识蒸馏

#今日论文推荐#ECCV 2022 | 清华&字节提出MGD：适用于分类/检测/分割的生成式知识蒸馏

知识蒸馏主要可以分为logit蒸馏和feature蒸馏。其中feature蒸馏具有更好的拓展性，已经在很多视觉任务中得到了应用。但由于不同任务的模型结构差异，许多feature蒸馏方法是针对某个特定任务设计的。
之前的知识蒸馏方法着力于使学生去模仿更强的教师的特征，以使学生特征具有更强的表征能力。我们认为提升学生的表征能力并不一定需要通过直接模仿教师实现。从这点出发，我们把模仿任务修改成了生成任务：让学生凭借自己较弱的特征去生成教师较强的特征。在蒸馏过程中，我们对学生特征进行了随机mask，强制学生仅用自己的部分特征去生成教师的所有特征，以提升学生的表征能力。
为了证明MGD并不是通过模仿教师来提升学生，我们对学生和教师的特征图进行了可视化。可以看到，蒸馏前的学生与教师的注意力相差很大。在使用FGD蒸馏（模仿教师）后，学生的注意力和教师变得很接近，表现也得到了较大的提升。但当使用MGD蒸馏后，学生与教师差异很大，学生对于背景的响应大幅减小，对于目标的响应得到了增强，学生的最终表现也好于FGD蒸馏。

论文题目：Masked Generative Distillation
详细解读：https://www.aminer.cn/research_report/62df4e707cb68b460ff4336chttps://www.aminer.cn/research_report/62df4e707cb68b460ff4336c
AMiner链接：https://www.aminer.cn/?f=cs