题目:Learning From Human Educational Wisdom: A Student-Centered Knowledge Distillation Method
学习人类教育智慧:以学生为中心的知识蒸馏方法
作者:S. Yang; J. Yang; M. Zhou; Z. Huang; W. -S. Zheng; X. Yang; J. Ren
摘要
现有的知识蒸馏研究通常侧重于以教师为中心的方法,其中教师网络根据自身标准进行训练,然后将所学知识传授给学生网络。然而,由于教师和学生网络之间的结构差异,前者所学到的知识可能并不适用于后者。受到人类教育智慧的启发,本文提出了一种学生中心蒸馏 (SCD) 方法,使教师网络能够根据学生网络的需求调整其知识传授。我们基于各种人类教育智慧实现了 SCD,例如教师网络在验证集上识别并学习学生网络所需的知识,然后通过训练集将其传授给学生网络。为了解决学生网络在学习过程中面临的当前知识不足、难样本学习和知识遗忘问题,我们引入并改进了来自自动化领域的比例-积分-微分 (PID) 算法,使其能够有效识别学生网络当前所需的知识。此外,我们提出了一种