知识蒸馏
文章平均质量分 93
杰读源码
这个作者很懒,什么都没留下…
展开
-
RETHINKING SOFT LABELS FOR KNOWLEDGE DISTIL- LATION: A BIAS-VARIANCE TRADEOFF PERSPECTIVE
最近的一些研究指出soft labels带来的regularization是知识蒸馏有效的原因之一。这边论文从训练过程中的bias-variance博弈角度出发,对soft labels重新进行了思考,研究发现这种博弈会导致训练过程的智能采样,对此论文提出了weighted soft labels来应对这种博弈,实验表明了这种方法的有效性。整篇论文论据充分,详细解释了最后结论的推导过程,提出的wsl方法简单易用,能快速应用到实际业务需求中,是值得一读的一篇论文。来源:杰读源码 微信公众号论文:RE.原创 2022-05-10 21:15:11 · 656 阅读 · 1 评论 -
针对Dense Prediction提出的channel-wise知识蒸馏
论文针对dense prediction提出的channel-wise蒸馏方法,不同于以往的spatial蒸馏,将每个channel的激活层使用softmax标准化为probability map,然后使用KL散度缩小teacher网络和student网络之间的差异。实验表明了这种方法的有效性,并且在semantic segmentation和object detection两个方向表现出了state-of-the-art。来源:杰读源码 微信公众号论文:Channel-wise Knowledge.原创 2022-05-04 21:45:14 · 716 阅读 · 1 评论