Bert压缩：《Distilling Task-Specific Knowledge from BERT into Simple Neural Networks》

前言：最近在想办法压缩有rnn的网络，所以查看了这篇文章

出处：University of Waterloo（滑铁卢大学）

代码：https://github.com/qiangsiwei/bert_distill

论文：https://arxiv.org/pdf/1903.12136.pdf

Abstract

本文作者认为轻量级基础网络在没有进行网络结构更改，额外的训练数据或额外特征以外，依然可以具备很强的竞争能力。作者就提出了使用BERT-大模型对BiLSTM进行蒸馏，得到的结果是与BERT相比，参数少了近100倍，推理时间提升了15倍；

结论：该文的方法不进行详细的描述，总言之，作者在预测得分层使用了欧式距离进行了蒸馏，并使用了teacher网络对未知标签的数据进行预测，然后将这部分未知标签的数据用于了小模型的蒸馏，实际结果就是小模型的性能是得到了提升，但是（个人觉得）不知道是蒸馏起了作用，还是因为新添了数据所以小模型性能得到了提升；