NLP-预训练模型-2019-NLU:TinyBert【 轻量级Bert】【采用知识蒸馏的方法来压缩Bert模型】
《原始论文:TinyBERT: Distilling BERT for Natural Language Understanding》GitHub:https://github.com/brightmart/albert_zh参考资料:华为刘群团队构造两阶段知识蒸馏模型TinyBERT,模型压缩7.5倍,推理时间快9.4倍加速 BERT 模型有多少种方法?从架构优化、模型压缩到模型蒸馏最新进展详解!NLP中的预训练语言模型(四)—— 小型化bert(DistillBert, ALBERT, TIN
复制链接