支持鹏程系列开源大模型应用生态演化的可持续学习能力探索

0 引言

近年来，鹏程系列大规模预训练语言模型（简称鹏程系统大模型）通过自监督学习的训练方式从海量语料中学习文本的上下文表示，并通过针对特定任务的小样本学习，在自然语言理解和自然语言生成等任务上都取得了惊艳的成果[1-2]。

大模型具有两个显著的特点，一是模型结构足够深且参数规模庞大，二是预训练过程中伴随着多种预训练任务以保证大规模语料的有效利用。随着谷歌发布具有1～