独家 | 基于知识蒸馏的BERT模型压缩

作者：孙思琦、成宇、甘哲、刘晶晶

本文约 1800字 ，建议阅读 5分钟 。

本文为你介绍“耐心的知识蒸馏”模型。

数据派THU后台回复“191010”，获取论文地址。

在过去一年里，语言模型的研究有了许多突破性的进展， 比如GPT用来生成的句子足够以假乱真[1]；BERT, XLNet, RoBERTa [2,3,4]等等作为特征提取器更是横扫各大NLP榜单。但是，这些模型的参数量也相当惊人，比如BERT-base有一亿零九百万参数，BERT-large的参数量则高达三亿三千万，从而导致模型的运行速度过慢。为了提高模型的运行时间，本文率先提出了一种新的知识蒸馏 (Knowledge Distillation) [5] 方法来对模型进行压缩，从而在不损失太多精度的情况下，节省运行时间和内存。文章发表在EMNLP 2019。

具体来说，对于句子分类类型的任务，当普通的知识蒸馏模型用来对模型进行压缩的时候, 通常都会损失很多精度。原因是学生模型 (student model) 在学习的时候只是学到了教师模型 (teacher model) 最终预测的概率分布，而完全忽略了中间隐藏层的表示。

<