大语言模型——涌现能力

在现有文献中，大语言模型的涌现能力被非形式化定义为在小型模型中不存在但在大模型中出现的能力”，具体是指当模型扩展到一定规模时，模型的特定任务性能突然出现显著跃升的趋势，远超过随机水平。类比而言，这种性能涌现模式与物理学中的相变现象有一定程度的相似，但是仍然缺乏相应的理论解释以及理论证实，甚至有些研究工作对于涌现能力是否存在提出质疑。整体来说，涌现能力的提出有助于使得公众认识到大语言模型所具有的能力优势，能够帮助区分大语言模型与传统预训练语言模型之间的差异。

代表性的涌现能力

• 上下文学习（In-context Learning, ICL）
上下文学习能力在 GPT-3的论文中被正式提出。具体方式为，在提示中为语言模型提供自然语言指令和多个任务示例，无需显式的训练或梯度更新，仅输入文本的单词序列就能为测试样本生成预期的输出。在 GPT 系列模型中，175B 参数的 GPT-3模型展现出强大的上下文学习能力，而GPT-1和GPT-2模型则不具备这种能力。此外，上下文学习能力还取决于具体的下游任务。例如，13B 参数的GPT-3模型可以在算术任务（例如3位数的加减法）上展现出上下文学习能力，但 175B 参数的 GPT-3模型在波斯语问答任务上甚至不能表现出良好的性能。

• 指令遵循（Instruction Following）
指令遵循能力是指大语言模型能够按照自然语言指令来执行对应的任务。为了获得这一能力，通常需要使用自然语言描述的多任务示例数据集进行微调，称为指令微调或监督微调。通过指令微调，大语言模型可以在没有使用显式示例的情况下按照任务指令完成新任务，有效提升了模型的泛化能力。相