【CVPR 2021】Revisiting Knowledge Distillation: An Inheritance and Exploration Framework
论文地址:
https://arxiv.org/abs/2107.00181
主要问题:
作者认为直接推动学生模型模拟教师模型的概率/特征,在很大程度上限制了学生模型学习未被发现的知识/特征
如图所示,使用KD训练的学生模型与训练良好的教师相比学习到非常相似的模式(更多的结果将在补充材料中显示)
在这种情况下,“猎豹”被教师模型错误地归类为“鳄鱼”,也被KD训练的学生模型错误地归类
该模型将其大部分预测归因于“猎豹”的尾巴,而“猎豹”类似于一条“鳄鱼”,而学生网络没有在耳朵和嘴上加入新的相关模式来区分“猎豹”和“鳄鱼”
因此我们需要一种机制来找到被教师网络忽略更有用的特征
直观上,简单地模拟教师网络的输出会缩小学生网络最优参数的搜索空间,从特征学习的角度来看会导致较差的解(如图所示):