ChatGLM3革新：推理速度提升2-3倍，成本降低一半的AI大模型

引言

随着人工智能技术的飞速发展，自然语言处理（NLP）已成为最具挑战性和活跃的研究领域之一。在这个领域，大型预训练模型已被证明是实现卓越性能的关键。智谱 AI 最近发布的 ChatGLM3，作为其第三代对话大模型，不仅在性能上有了显著提升，还在多个方面展现了其技术优势。

推理速度和成本

ChatGLM3 的推理框架基于最新的高效动态推理和显存优化技术。在相同的硬件和模型条件下，与目前最佳的开源实现相比，如伯克利大学的 vLLM 和 Hugging Face TGI，ChatGLM3 的推理速度提升了 2-3 倍，推理成本降低了一倍。每千 tokens 的处理成本仅为 0.5 分，这在成本效益上具有显著优势。

性能提升

在 44 个中英文公开数据集的测试中，ChatGLM3 表现出色，在国内同尺寸模型中排名首位。在 MMLU、CEval、GSM8K 和 BBH 等基准测试中，ChatGLM3 分别取得了 36%、33%、179% 和 126% 的性能提升。这一成就主要归功于其独创的多阶段增强预训练方法和更丰富的训练数据。

多模态能力

ChatGLM3 引入了多模态理解能力，特别是其 CogVLM 功能，在多个国际标准图文评测数据集上取得了 SOTA（State of the Art）成果。此外，ChatGLM3 还包括代码增强模