【CVPR 2021】自我知识蒸馏：Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification

论文地址：

https://arxiv.org/abs/2104.13298

代码地址：

https://github.com/yxgeee/BAKE

主要问题：

知识蒸馏通常通过整合来自多个教师模型或学生模型（或者额外的分支）的“暗知识”并生成更好的软目标用来训练，但是往往需要以更多的计算量或参数量为代价

主要思路：

在这篇文章中，作者提出了Batch知识集成（BAKE），通过在同一小批中传播和集成其他样本的知识，来为锚定图像生成精细的软目标

具体来说就是对于每个感兴趣的样本，知识的传播根据一个Batch的样本间的相似度进行加权，这是根据当前网络动态估计的，因此传播的知识可以浓缩成更好的蒸馏软目标，通过这种方式，BAKE 框架实现了在只有一个网络的多个样本之间的在线知识集成，从而大大