ChatGLM：A Family of Large Language Models from GLM-130B to GLM-4 All Tools

ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools

相关链接：arxiv
关键字：Large Language Models、GLM、Transformer、Post-training Alignment、Multi-language

摘要

本文介绍了ChatGLM，这是一个不断发展的大型语言模型系列，我们一直在开发中。本报告主要关注GLM-4语言系列，包括GLM-4、GLM-4-Air和GLM-4-9B。这些代表了我们训练的最先进的模型，它们结合了之前三代ChatGLM的所有见解和经验教训。迄今为止，GLM-4模型主要在中文和英文上进行了预训练，使用了大约一万亿个token，以及来自24种语言的一小部分语料库，并主要针对中文和英文使用进行了优化。通过多阶段后训练过程，包括有监督的微调和从人类反馈中学习，实现了高质量的对齐。评估表明，GLM-4在诸如MMLU、GSM8K、MATH、BBH、GPQA和HumanEval等通用指标方面与GPT-4不相上下或表现更佳，在按照IFEval测量的指令跟随方面接近GPT-4-Turbo，在长上下文任务方面与GPT-4 Turbo (128K)和Claude 3相当，并且在使用AlignBench测量的中文对齐方面优于GPT-4。GLM4 All Tools模型进一步对齐，以理解用户意图，并自主决定何时以及使用哪个工具来有效完成复杂任务。在实际应用中，它在通过Web浏览访问在线信息和使用Python解释器解决数学问题等任务中与GPT-4 All Tools相匹配甚至超越。在此过程中，我们开源了一系列模型，包括ChatGLM-6B（三代）、GLM-4-9B（128K、1M）、GLM-4V-9B、WebGLM和CodeGeeX，仅在2023年就在Hugging face上吸引了超过1000万次下载。开放模型可以通过https://github.com/THUDM和https://huggingface.co/THUDM访问。

核心方法

• 模型架构：GLM系列基于Transformer架构，采用了无偏置的Query、Key、Value（QKV）注意力机制，RMSNorm和SwiGLU替代了传统的LayerNorm和ReLU。
• 数据预处理：预训练语料包括多语言文档，经过去重、过滤和分词处理，使用了字节级BPE算法优化词汇表大小。
• 上下文长度扩展：通过位置编码扩展和持续训练，模型的上下文长度从2K扩展到32K，再到128K和1M。
• 后训练对齐：通过有监督的微调（SFT）和基于人类反馈的强化学习（RLHF），进一步优化模型以符合人类偏好。
• 多工具使用：GLM-4 All Tools模型能够理解用户意图，并自主选择最合适的工具来完成任务，如Web浏览器、Python解释器、文本到图像模型等。

实验说明

实验结果数据使用如下表格展示，并对实验进行详细说明：

模型	MMLU	GSM8K	MATH	BBH	GPQA	HumanEval	说明
GLM-4-9B	74.7	84.0	30.4	76.3	-	70.1	多语言预训练，上下文长度8K，后训练使用与GLM-4相同的流程和数据。
GLM-4-Air	-	-	-	-	-	75.7	性能与GLM-4 (0116)相当，具有更低的延迟和推理成本。
GLM-4 (0520)	83.3	93.3	61.3	84.7	39.9	78.5	最新模型，具有更好的性能。

实验数据来源于论文中的评估部分，展示了不同模型在多个基准测试上的性能。数据要求能够准确反映模