论文地址 主要内容 将全局模型当作Teacher来指导Local训练。与常规知识蒸馏不同之处,在于作者只蒸馏Not True Logits。这就是这篇论文的创新点。 作者说这样可以更有效的缓解遗忘(本地更新遗忘全局知识,我觉得也可以理解成一种正则化手段缓解Local Drift)问题。