最新最全论文合集——语言预训练模型架构

AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

必读论文：https://www.aminer.cn/topic

论文集地址：https://www.aminer.cn/topic/6085691f92c7f9be2132f9ca

目前，预训练模型已经在自然语言处理任务中发挥了较为关键的作用，模型主要分为3个大类：单向特征表示的自回归预训练语言模型，统称为单向模型；双向特征表示的自编码预训练语言模型，统称为BERT系列模型和双向特征表示的自回归预训练语言模型。

该论文集共收录28篇论文，引用最多的论文为BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding，引用数为17103。

AMiner，AI赋能的学术搜索平台：https://www.aminer.cn

#AMiner# #论文#