【AAAI 2021】基于解耦标签的知识蒸馏：Knowledge Refinery: Learning from Decoupled Label

论文地址：

https://ojs.aaai.org/index.php/AAAI/article/view/16888

主要问题：

目前的知识蒸馏需要预先训练一个额外的教师模型

主要思路：

作者提出“理想的”标签正则化方法应该满足以下条件：（1）标签的表示应当考虑类之间的关系；（2）能够在不预先训练额外的教师模型的情况下动态学习；（3）没有必要调整标签表示的平滑度也不会产生过平滑

因此提出了一种叫做知识精炼（Knowledge Refinery，简称 KR）的方法，该方法使神经网络能够在没有师生训练策略的情况下动态学习知识关系，并提出了解耦标签的定义，它包括原始的硬标签和残余标签

主要贡献：

1. 提出了一种新的标签正则化方法，称为知识精炼（KR），使网络能够