TPAMI 2024 | 学习人类教育智慧：以学生为中心的知识蒸馏方法

题目：Learning From Human Educational Wisdom: A Student-Centered Knowledge Distillation Method

学习人类教育智慧：以学生为中心的知识蒸馏方法

作者：S. Yang; J. Yang; M. Zhou; Z. Huang; W. -S. Zheng; X. Yang; J. Ren

---

摘要

现有的知识蒸馏研究通常侧重于以教师为中心的方法，其中教师网络根据自身标准进行训练，然后将所学知识传授给学生网络。然而，由于教师和学生网络之间的结构差异，前者所学到的知识可能并不适用于后者。受到人类教育智慧的启发，本文提出了一种学生中心蒸馏 (SCD) 方法，使教师网络能够根据学生网络的需求调整其知识传授。我们基于各种人类教育智慧实现了 SCD，例如教师网络在验证集上识别并学习学生网络所需的知识，然后通过训练集将其传授给学生网络。为了解决学生网络在学习过程中面临的当前知识不足、难样本学习和知识遗忘问题，我们引入并改进了来自自动化领域的比例-积分-微分 (PID) 算法，使其能够有效识别学生网络当前所需的知识。此外，我们提出了一种