【知识蒸馏】|Distilling the Knowledge in a Neural Network
soft target是来自于teacher model的检测结果。Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏(暗知识提取)的概念,通过引入与教师网络(Teacher network:复杂、但预测精度优越)相关的软目标(Soft-target)作为Total loss的一部分,以诱导学生网络(Student network:精简、低复杂度,更适合推理部署)的训练,实现知识迁移(Knowledge transfer)。
原创
2022-08-25 16:25:12 ·
233 阅读 ·
0 评论