这篇博客介绍了Distilling Knowledge via Knowledge Review论文，探讨了不同于传统逐层映射的学习方式，提出了错层教师指导一层学生的新机制。文章详细解析了论文中的核心思想，包括多级信息引导、残差结构的review机制、ABF和HCl模块，以及它们如何提升模型性能。同时，博主分享了源码实现，但指出在自己的实验中尚未看到显著效果，可能需要更大规模的模型验证。
1、paper：https://arxiv.org/pdf/2104.09044.pdf
2、code：https://github.com/dvlab-research/ReviewKD
思谋科技出品的paper，d2的源码，是不是考虑白嫖一波，先分析一下，本文直接描述paper的核心思想，实在不想按照paper的格式逐字翻译，直接贴核心思想就行了：
1、abstract
papr指出以前的工作teacher和student的模型逐层映射学习，也就是说对应层互相学习，如下图c所示，但是，本文发现，如下图d所示，能够更好地学习，因此paper在图d的基础上， 更进一步的按照公式推导设计出新的模型结构用来将teahcer和student的featuremap进行映射到新的特征空间和学习，发现有效果，我已经将paper的源code移植到我自己的工作里面去了，目前来看，可能是我的模型太小了，与teacher的相应的guided层不对，效果还是
最低0.47元/天 解锁文章
706
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
