【随记】知识蒸馏理论到实践

转载广告行业中那些趣事系列21：从理论到实战BERT知识蒸馏

目录

摘要：

01 为什么要学习知识蒸馏

1.1 一切源于业务的需要

1.2 主流的模型加速方法

02 详解知识蒸馏

2.1 知识蒸馏的作用和原理

2.2 知识蒸馏为啥有用

2.3 知识蒸馏的流程

2.4 为什么用“蒸馏”一词

2.6 知识蒸馏模型效果

03 实战知识蒸馏BERT到TextCNN

总结

参考资料

---

摘要：

本篇主要分享从理论到实战知识蒸馏。首先讲了下为什么要学习知识蒸馏。一切源于业务需求，BERT这种大而重的模型虽然效果好应用范围广，但是很难满足线上推理的速度要求，所以需要进行模型加速。通常主流的模型加速方法主要包括剪枝、因式分解、权值共享、量化和知识蒸馏等；然后重点讲解了知识蒸馏，主要包括知识蒸馏的作用和原理、知识蒸馏的流程以及知识蒸馏的效果等；最后理论联系实战，讲解了实际业务中主要把BERT作为老师模型去教作为学生模型的TextCNN来学习知识，从而使TextCNN不仅达到了媲美BERT的分类效果，而且还能很好的满足线上推理速度的要求。对知识蒸馏感兴趣的小伙伴可以一起沟通交流。

下面主要按照如下思维导图进行学习分享：