最新最全论文合集——语言预训练模型的压缩和加速

AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

必读论文：https://www.aminer.cn/topic

论文集地址：https://www.aminer.cn/topic/6085692f92c7f9be21335c2f

近期，大规模和超大规模预训练模型近期频繁出现在各大新闻媒体，从聊天到创作，一步一步刷新了我们的认知。但是我们想拿来就用的梦想却被手头的设备要求扼杀在了萌芽中。模型压缩是解决这个问题非常自然的一个想法，它的核心的思路包括：参数量化、权重共享、知识蒸馏，尤其是在BERT为基础的模型压缩工作近些年也层出不穷。

该论文集共收录21篇论文，引用最多的论文为ALBERT: A Lite BERT for Self-supervised Learning of Language Representations，引用数为1071。

AMiner，AI赋能的学术搜索平台：https://www.aminer.cn

#AMiner# #论文#