【AAAI 2021】在线知识蒸馏中的对等协同学习：Peer Collaborative Learning for Online Knowledge Distillation

论文地址：

https://arxiv.org/abs/2006.04147

主要问题：

传统的知识蒸馏采用两阶段的训练策略，很大程度上依赖于预先训练的教师

最近的在线知识蒸馏通过协作学习、相互学习和在线集成减轻了这种限制，而且只需要进行一次端到端训练

然而，协作学习和相互学习未能构建一个在线的具有高容量知识的教师模型，而在线集成则忽略了分支机构之间的协作，阻碍了集成教师模型的进一步优化

主要思路：

这篇论文提出了一种新的对等协同学习方法，它将在线集成和网络协作集成到了一个统一的框架中

具体来说就是，给定一个目标网络，我们构建一个多分支训练网络，其中每个分支称为对等网络，我们对对等点的输入执行多次随机增强，并使用一个额外的分类器作为对等点集成的教师模型，从而有助于将知识从高能力的教师模型转移到对等模型，并反过来进一步优化集成的教师模型

同时将每个对等模型的时间平均模型作为对等平均教师模型，在对等模型之间协作转移知识，帮助每个对等模型学习更丰富的知识，便于优化具有更好的概括性的更稳定的模型