知识蒸馏 论文推荐：渐进式模仿学习：CNN模型轻量化的新工作（受人类学习过程激发，提出的阶段式学习方法）

论文下载：Progressive Mimic Learning: A new perspective to train lightweight CNN models - ScienceDirecthttps://www.sciencedirect.com/science/article/pii/S092523122100638X

或者(免费下载)：https://download.csdn.net/download/qq_20481015/25638453https://download.csdn.net/download/qq_20481015/25638453 摘要：知识蒸馏（KD）构建一个轻量化的学生模型（SM），并通过TM学习的知识将其性能训练为近似于大型教师模型（TM）的性能，表明了知识蒸馏训练轻量级CNN模型是有效的。然而，训练小型SM以获得更好的性能仍然是一个具有挑战性的问题。最近关于人类学习行为的研究表明，教师的知识和教师的知识学习过程对学生都有重要意义。受这一特点的启发，在本文中，我们提出了一种新的视角，称为渐进模拟学习（PML），通过模仿TM的学习轨迹来训练轻量级CNN模型。为了获得更强大的SM，探索了TM学习过程中的有用线索。首先，将TM学习过程分为多个阶段，每个阶段中TM的最后状态记录为地标。TM的学习轨迹由这些地标组成。然后，通过使用学习轨迹中的地标作为SM的训练线索，定义地标损失以约束SM逐步模拟TM的学习过程。在四个基准数据集（CIFAR-10、CIFAR-100、Fashion MNIST和ImageNet-10）上进行了若干实验，以研究PML的性能。结果表明，PML可以使SMs的性能更接近TM，甚至在部分实验中，实现了超越TM的性能。

程序可联系：hongbin_ma@163.com