论文浅尝 | 大语言模型综述

笔记整理：刘康为、方润楠，浙江大学硕士，研究方向为自然语言处理

链接：https://arxiv.org/abs/2303.18223

一、介绍

在当前机遇和挑战的背景下，对大语言模型的研究和开发需要更多的关注。为了让读者对大语言模型有一个基本的了解，本调查从四个主要方面对大语言模型进行了文献回顾。

首先是预训练方面，调查详细探讨了如何进行有效的预训练，以培养出具备强大能力的大型语言模型。其次是适应性调优，这一方面考虑了如何从有效性和安全性的角度对预训练的大语言模型进行优化和调整。第三个方面是利用，研究探讨了如何利用大语言模型解决各种下游任务。最后，是能力评估，调查介绍了如何评估大语言模型的能力以及现有的研究结果。

二、回顾

2.1 背景

大型语言模型（LLMs）通常指的是包含数千亿（或更多）参数的语言模型，这些模型是在海量文本数据上训练出来的，如GPT-3、PaLM、Galactica和LLaMA。

2.2 涌现能力

大语言模型的最显著特征之一是其具备了以往预训练语言模型所不具备的涌现能力。代表性的涌现能力包括上下文学习、指令遵循、逐步推理。这些代表性的涌现能力彰显了大语言模型的独特优势。

2.3 关键技术

大语言模型之所以能够取得成功，有五个主要原因。首先是模型、数据和计算资源的扩展，其次是高效稳定的训练手段，第三是语言模型能力诱导，第四是对齐训练，将大语言模型与人类偏好对齐，最后是工具使用。

三、大语言模型的资源

3.1 公开检查点和API