说了脾气不好的博客

原创 知识蒸馏 - Teacher与Student爱恨情仇

知识蒸馏 - 老师与学生的爱恨情仇这是一篇自己读知识蒸馏的一些论文的笔记。为了帮助自己记忆与理解，举了一些例子。若有不准确或者不恰当，欢迎批评指教。以下主要内容来自以下论文：[1] Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015.[2] Cho J H, Hariharan B. On the Efficacy of