《中兴通讯技术 》期刊2022年第2期，本期专题：自然语言处理预训练模型

《中兴通讯技术 》2022年第2期  总第163期

期刊文章PDF文章可在网站上免费下载：https://www.zte.com.cn/china/about/magazine/zte-communications/2022/cn202202

预训练语言模型的出现给自然语言处理领域带来了一场变革，成为人工智能技术发展的前沿和热点。庞大的参数规模使得模型具备更强的能力，同时也对模型的构建、训练和应用落地提出挑战。自然语言处理的关键要素是什么？从多语言、知识和视觉等角度如何提高预训练模型的能力？规模庞大的模型如何进行高效训练？针对预训练语言模型研究中广受关注的问题，清华大学计算机系教授、中国工程院院士郑纬民精心组织了“自然语言处理预训练模型”专题。专题内容丰富，涵盖面广，希望能对自然语言处理预训练模型的发展起到一定推动作用。

目录

热点专题

---

专题导读    Abstract  |  PDF

近年来，预训练语言模型的出现给自然语言处理领域带来了一场变革，成为人工智能技术发展的前沿和热点。大规模预训练可以有效缓解传统技术在特征工程方面面临的压力。通过学习通用语言表示，模型具备了语言理解和生成能力，几乎在所有自然语言处理任务上都取得了突破。因此，各类基准测试任务的效果显著提高，这展示了大规模预训练广阔的应用前景。庞大的参数规模使得模型具备了更强的能力，同时也对模型的构建、训练和应用落地提出了挑战。自然语言处理的关键要素是什么？从多语言、知识和视觉等角度如何提高预训练模型的能力？规模庞大的模型如何进行高效训练？针对预训练语言模型研究中广受关注的问题，本期专题的文章从不同方面论述自然语言处理预训练模型的研究进展及相关成果，希望能对读者有所帮助。

郑纬民

DOI：10.12142/ZTETJ.202202001

---

自然语言处理新范式：基于预训练模型的方法   Abstract