自蒸馏、知识蒸馏

自蒸馏（Self Distillation）：是采用有监督学习进行知识蒸馏。只是知识蒸馏的方法，采用的方式是teacher模型和student模型是一个模型，也就是一个模型来指导自己进行学习，完成知识蒸馏，所以是自蒸馏，自己蒸馏知识来指导自己。

自监督学习知识蒸馏：是采用自监督学习进行知识蒸馏，采用数据增强、对比学习等自监督学习的方法来进行知识蒸馏，提升模型准确率。

自蒸馏（Self Distillation）是三种知识蒸馏学习方法的一种：离线蒸馏（Offline Distillation）、在线蒸馏（Online Distillation）、自蒸馏（Self Distillation）。这三种蒸馏方法区别是：

离线蒸馏（Offline Distillation）: teacher模型是已经预训练好的，已经有很好的效果。再让teacher模型来指导student模型进行学习，完成知识蒸馏。

在线蒸馏（Online Distillation）：teacher模型没有预训练，准备和student模型一同进行训练，在一同训练的过程中来指导student模型进行学习，完成知识蒸馏。

自蒸馏（Self Distillation）：teacher模型和student模型是一个模型，也就是一个模型来指导自己进行学习，完成知识蒸馏。

所以，总结一下，自监督学习，也就是自己来给自己提供知识进行学习和知识传递，完成知识蒸馏，提高模型的准确率。

自监督学习经典代表论文：

Zhang L, Song J, Gao A, et al. Be your own teacher: Improve the performance of convolutional neural networks via self distillation. Proceedings of the IEEE International Conference on Computer Vision. 2019: 3713-3722.