超级会员免费看
本文介绍了CVPR 2021一篇论文提出的IE-KD框架，该框架针对知识蒸馏过程中学生模型受限于模仿教师模型的问题。IE-KD将学生模型分为继承和探索两部分，通过一致性损失进行知识继承，同时鼓励探索损失学习新的特征，以避免盲目模仿导致的特征学习局限性。实验表明，这种方法在图像分类和目标检测任务上取得了良好效果。
【CVPR 2021】Revisiting Knowledge Distillation: An Inheritance and Exploration Framework
论文地址：
https://arxiv.org/abs/2107.00181
主要问题：
作者认为直接推动学生模型模拟教师模型的概率/特征，在很大程度上限制了学生模型学习未被发现的知识/特征
如图所示，使用KD训练的学生模型与训练良好的教师相比学习到非常相似的模式（更多的结果将在补充材料中显示）
在这种情况下，“猎豹”被教师模型错误地归类为“鳄鱼”，也被KD训练的学生模型错误地归类
该模型将其大部分预测归因于“猎豹”的尾巴，而“猎豹”类似于一条“鳄鱼”，而学生网络没有在耳朵和嘴上加入新的相关模式来区分“猎豹”和“鳄鱼”
因此我们需要一种机制来找到被教师网络忽略更有用的特征
直观上，简单地模拟教师网络的输出会缩小学生网络最优参数的搜索空间，从特征学习的角度来看会导致较差的解（如图所示）：
订阅专栏 解锁全文
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
