深入浅出:Knowledge Distillation by On-the-Fly Native Ensemble
简述:这是一篇关于知识蒸馏的论文,知识蒸馏可有效地训练小型通用网络模型,以满足低内存和快速运行的需求。现有的离线蒸馏方法依赖于训练有素的强大教师,这可以促进有利的知识发现和传递,但需要复杂的两阶段训练程序。作者提出了一种用于一阶段在线蒸馏的动态本地集成(ONE)学习策略。具体来说,ONE只训练一个单一的多分支网络,而同时动态地建立一个强大的教师来增强目标网络的学习。模型overviewONE体系结构如上图所示。ONE包含两个组件:(1)m个具有相同配置的分支。其中每个分支共享低层的.
原创
2020-05-23 21:54:34 ·
1144 阅读 ·
0 评论