【CVPR 2020】蒸馏篇(四):Online Knowledge Distillation via Collaborative Learning
【CVPR 2020】蒸馏篇(四):Online Knowledge Distillation via Collaborative Learning,这篇文章提出了一种新的通过协作学习在线知识蒸馏方法,即具有不同能力的学生网络协同学习,生成高质量的软目标监督,为每个学生提取额外的知识,其中高质量的软目标监督旨在指导具有显著性能差距的学生以较高的泛化能力和较小的方差一致收敛
复制链接