TinyBERT
论文:《TINYBERT:DISTILLINGBERTFORNATURALLAN-GUAGEUNDERSTANDING》
论文地址:https://arxiv.org/pdf/1909.10351
作者/机构:华科+华为诺亚方舟实验室
年份:2019.9
TinyBert通过对Bert 编码器中的Transformer进行压缩,使用两段式学习框架在精度允许范围内节约了计算资源和推理速度。其改进点如下:
(1)Transformer蒸馏法
为了在加快推理速度和降低模型大小的同时保持准确率,作者提出了一种新颖的 transformer 蒸馏法,这是为基于 transformer 的模型专门设计的知识蒸馏(knowledge distillation,KD)方法。
这样做的目的是:Bert类的预训练语言模型通常计算开销大,内存占用也大,因此很难在一些资源紧张的设备上有效执行。通过这种新的 KD 方法,LargeBERT 模型中编码的大量知识可以很好地迁移到小型 TinyBERT 模型中,这对计算资源紧张的设备上运行是友好的。
(2)两段式学习框架
除了提出新的 transformer 蒸馏法之外,研究者还提出了一种专门用于 TinyBERT 的两段式学习框架,从而分别在预训练和针对特定任务的具体学习阶段执行 transformer 蒸馏。
这样做的目的是:TinyBERT 可以获取 LargeBERT 的通用和针对特定任务的知识。
更多NLP相关技术干货,请关注我的微信公众号【NLP有品】