【知识蒸馏】浅谈自知识蒸馏和自监督知识蒸馏的区别

今天在看《Refine Myself by Teaching Myself : Feature Refinement via Self-Knowledge Distillation》，然后在纠结里面的方法到底是自知识蒸馏还是自监督知识蒸馏，因为文章使用了辅助自教师网络，可能因为我对自知识蒸馏的背景了解不够深，所以对这个概念不太明晰。

查了一些资料之后，整理了一点概念如下：
自知识蒸馏/自蒸馏(SKD)：是采用有监督学习进行知识蒸馏。只是知识蒸馏的方法，采用的方式是teacher模型和student模型是一个模型，也就是一个模型来指导自己进行学习，完成知识蒸馏，所以是自蒸馏，自己蒸馏知识来指导自己。其中虽然分了教师网络，但是teacher的参数不是frozen的，是在训练过程中一起改变的，只是teacher的网络结构更大更完善（比如Refine中的辅助自教师网络）。

自监督学习知识蒸馏/自监督知识蒸馏：是采用自监督学习进行知识蒸馏，利用数据增强、对比学习等自监督学习的方法来进行知识蒸馏，提升模型准确率。一般不会用到所谓的教师网络。