从头预训练一个针对的那1个任务的3层BERT,
保持预训练和inference时的一致性,速度加速4倍,精度不变。
BERT加速,BERT inference加速,BERT实用加速
最新推荐文章于 2024-06-12 09:55:29 发布
本文介绍了一种方法,通过针对特定任务预训练一个3层BERT模型,保持预训练与推理的一致性,成功实现了BERT inference速度的4倍提升,且不牺牲模型精度。
摘要由CSDN通过智能技术生成