大语言模型——大语言模型的能力特点

大语言模型的出现为科研人员再次带来了实现通用人工智能的曙光。尽管通用人工智能在学术界被广泛讨论与探索，但是之前的机器学习算法的泛化性和通用性非常局限，只有大语言模型初步实现了通过统一形式来解决各种下游任务。

下面将简要介绍一下大语言模型的主要能力特点，特别是针对传统模型不具备的性能优势进行讨论。

具有较为丰富的世界知识

与传统机器学习模型相比，大语言模型经过超大规模文本数据的预训练后能够学习到较为丰富的世界知识。实际上，最早期的专家系统也是希望能够通过设计基于知识库与知识表示的推理引擎系统，进而解决特定领域的应用任务。然而，当时所采用的技术路径主要是基于逻辑、规则以及初期的机器学习算法，系统能力还比较局限，无法充分建模以及利用世界知识信息。尽管早期的预训练模型（如 BERT、GPT-1 等）也是基于相似的预训练思路，但是模型参数规模与数据规模都相对较小，无法充分学习到海量的世界知识。因此，之前的预训练语言模型需要使用微调为主要手段来解决下游任务。

具有较强的通用任务解决能力

大语言模型第二个代表性的能力特点是具有较强的通用任务求解能力。大语言模型主要通过预测下一个词元的预训练任务进行学习，虽然并没有针对特定的下游任务进行优化，却能够建立远强于传统模型的通用任务求解能力。实际上，基于大规模无标注文本的下一个词元预测任务本质上可以看作一个多任务学习过程，因为针对不同词元的预测任务可能涉及到情感分类、数值计算、知识推理等非常多样的训练任务。由于具有通用的任务求解能力，大语言模型深刻地影响了很多研究领域的科研范式。例如，在自然语言处理领域，很多传统任务（如摘要、翻译等）都可以采用基于大语言模型的提示学习方法进行解决，而且能够获得较好的任务效果࿰