超级会员免费看
本文总结了BERT模型的压缩方法，包括低秩因式分解、量化、知识蒸馏和剪枝，以解决模型在内存和功耗上的问题，促进其在嵌入式设备上的部署。低秩因式分解通过分解权重矩阵降低参数数量；量化减少权重精度；知识蒸馏将大型教师模型的知识转移到小型学生模型；剪枝则通过减小权重或中间状态规模来压缩模型。
上一篇文章：NLP模型笔记2022-33:Sentence-BERT STS模型列表与预训练方法
压缩方法英文总结：http://mitchgordon.me/machine/learning/2019/11/18/all-the-ways-to-compress-BERT.html
压缩方法中文总结：https://baijiahao.baidu.com/s?id=1659957262872530251&wfr=spider&for=pc
BERT模型压缩方法：
大规模的预训练语言模型已经成为各种自然语言处理任务(NLP)的新驱动力，例如BERT在对下游任务进行微调后，显著提高了模型的表现。尽管这些模型在各种NLP任务上获得了最先进的结果，但是通常内存占用和功耗过高，以此带来很高的延迟
订阅专栏 解锁全文
290
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
