资源分享 | 知识蒸馏总结、应用与扩展（2015-2019）

点击我爱计算机视觉标星，更快获取CVML新技术

---

知识蒸馏示意图

知识蒸馏因为2015年Hinton的著名论文 Distilling the knowledge in a neural network 而被更多人所认知，是模型参数压缩、计算加速的重要方法，尤其在将深度神经网络模型部署到移动端、IOT等边缘设备上时。

在华东师范大学读书的Yuang Liu 同学最近对知识蒸馏方向近几年（2015-2019）进行了技术总结、应用梳理和扩展讨论。作者希望通过52CV平台分享出来供大家参考。

Yuang Liu查考了大量的知识蒸馏的技术文献，并按照以下模块设置对该领域进行了技术梳理：

知识蒸馏的定义：

Knowledge Distillation aims to compress and improve the model by transfering knowledge from deep nets to a small network.

Yuang Liu从三个方向知识蒸馏

对近几年的知识蒸馏方法进行了总结，每部分均有具代表性的论文介绍。

在知识蒸馏应用的部分，作者从GAN、ReID、视频分类、姿态估计、物体姿态回归、BERT（NLP）、车道线检测、语义分割等方向分别列出了代表性论文。

GAN是目前大热的深度学习方向，作者进一步调研了知识蒸馏与GAN的关系：

最后作者从新出的知识蒸馏文献中总结了该领域的挑战和展望。

PDF 资料下载：

因为 PDF 无法直接在公众号共享，想要获得这份资料的同学可以在“我爱计算机视觉”公众号对话界面回复“知识蒸馏总结”（建议复制），即可收到PDF下载。

感谢Yuang Liu 同学！欢迎大家文末点个“在看”支持。

---

模型压缩与应用部署交流群

关注知识蒸馏、模型压缩、剪枝、轻量级网络设计、应用部署等，不仅有最新的论文和开源代码分享，也关注工业级真实应用，欢迎加CV君好友拉你入群，（如已为CV君好友，请直接私信，不需要重复添加）

（请务必注明：部署）

喜欢在QQ交流的童鞋，可以加52CV官方QQ群：805388940。

（不会时时在线，如果没能及时通过验证还请见谅）

---

长按关注我爱计算机视觉