GLM（General Language Model）模型

彬彬侠

已于 2025-03-07 16:19:37 修改

阅读量980

点赞数 11

分类专栏：大模型文章标签： GLM GLM-4 清华大学知识工程实验室智谱AI THU-KEG Zhipu AI Hugging Face

于 2025-03-07 16:18:57 首次发布

本文链接：https://blog.csdn.net/u013172930/article/details/146097997

版权

大模型专栏收录该内容

98 篇文章

订阅专栏

GLM（General Language Model）模型

GLM（General Language Model，通用语言模型） 是 清华大学知识工程实验室（THU-KEG）和智谱 AI（Zhipu AI） 共同研发并从 2022 年开始发布的 开源大语言模型（LLM）。GLM 支持中英文双语，适用于多种 NLP 任务，如 文本生成、代码生成、问答、翻译 等。

论文：GLM: General Language Model Pretraining with Autoregressive Blank Infilling
GitHub 地址：THUDM/GLM
官网：智谱 AI

1. 为什么需要 GLM？

在 GPT-3、BERT 以及 T5 等 NLP 模型的基础上，GLM 提出了一种 新的预训练方法，并针对 中文 NLP 任务进行了优化。GLM 主要目标是：

提供中国本土化的大模型替代方案，可 自由商用。
优化中文 NLP 任务，适用于 智能客服、法律、金融、医疗等领域。
支持更高效的训练方式，提高 推理速度 和 数据利用率。

GLM 适用于国产 AI 生态，支持企业级 AI 部署
相比 GPT-4，GLM 更适合中文 NLP 任务

2. GLM 主要版本

GLM 已经迭代多个版本，适用于不同应用场景：

模型版本	发布时间	参数规模	主要优化	适用任务
GLM-130B	2022-08	130B	中英文双语优化	通用 NLP
ChatGLM-6B	2023-04	6B	轻量级，支持本地运行	智能问答
ChatGLM2-6B	2023-06	6B	优化推理速度	对话任务
ChatGLM3-6B	2023-10	6B	提升数学、代码能力	智能客服、代码生成
GLM-4	2024-01	9B	多模态支持	多模态 AI

GLM-6B 适用于消费级 GPU（如 RTX 3090/4090）运行
GLM-130B 适用于高端服务器（如 A100/H100）
GLM-4 支持文本、图像、音频等多模态输入

3. GLM 的技术创新

GLM 主要在 预训练方法、训练效率、中文优化 方面进行了突破：

3.1 自回归填空（Autoregressive Blank Infilling，ABI）

不同于 GPT-3 仅做自回归预测，GLM 结合了自回归填空（Blank Infilling）策略。
GLM 在训练时，会随机 Mask 出单词、短语、句子，并让模型填空，提高对上下文的理解能力。
比 GPT-3 更强的上下文理解能力
提高对长文本的推理能力，适合问答、摘要任务

3.2 中英文双语优化

GLM 采用 50% 英文 + 50% 中文数据进行训练，比 LLaMA 更适合中文 NLP 任务。
对中文命名实体、成语、古诗文等任务表现更好。
比 GPT-3 更适合中文任务，如法律、金融、医疗等专业领域
比 LLaMA-2 更强的中文表现，适合国产 AI 生态

3.3 轻量化优化

ChatGLM-6B 仅需 6B 参数，但 对话能力接近 130B 级别模型。
采用高效推理优化，支持量化（INT4、INT8），可在消费级显卡上运行。
适用于本地部署，智能客服、个人 AI 助手
相比 GPT-4 API，GLM-6B 运行成本更低

4. GLM 在 Hugging Face `transformers` 库中的使用

GLM 可以通过 Hugging Face 直接加载并使用。

4.1 安装 `transformers`

pip install transformers

4.2 加载 GLM 分词器

from transformers import AutoTokenizer

# 加载 GLM 预训练的分词器
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b")

# 对文本进行分词
text = "人工智能的未来是什么？"
tokens = tokenizer(text, return_tensors="pt")

print(tokens)

4.3 加载 GLM 并进行文本生成

from transformers import AutoModelForCausalLM

# 加载 ChatGLM-6B 预训练模型
model = AutoModelForCausalLM.from_pretrained("THUDM/chatglm-6b")

# 生成文本
outputs = model.generate(**tokens, max_length=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

5. GLM 的应用场景

GLM 适用于 各种 NLP 任务：

智能客服（企业客服、AI 机器人）
文本生成（新闻、小说、论文写作）
对话系统（Chatbot）
问答系统（QA）
代码生成
机器翻译
自动摘要
数学推理
相比 GPT-4，GLM 更适合中文 NLP 任务
相比 LLaMA 2，GLM 提供更好的代码、数学能力

6. GLM 与其他 LLM 的对比

模型	开源/闭源	参数量	优化点	适用任务
GPT-4	闭源	未公开	生成能力最强	商业 AI
GLM-130B	开源	130B	强化数学、代码	企业 AI
LLaMA 2-70B	开源	70B	低计算成本	本地部署
DeepSeek-67B	开源	67B	代码优化	编程 AI
Gemini 1.5 Pro	闭源	未公开	多模态能力	AI 生成内容