GLM论文精读-自回归填空的通用语言模型

已于 2023-05-10 16:36:30 修改
阅读量4.7k 收藏 33
点赞数 16
分类专栏： 类GPT的LLM论文与代码精读 文章标签： 回归 语言模型 数据挖掘
于 2023-05-09 15:54:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangwangstone/article/details/130579662
版权
GLM是一种通用语言模型，它结合了自回归和编码器的特性，通过自回归填空任务实现对NLU和生成任务的处理。模型通过随机打乱和2D位置编码改进了传统的空白填充，能同时处理三种自然语言任务。相比于T5，GLM使用单个编码器并随机化片段顺序，提高了捕获依赖关系的能力。
摘要由CSDN通过智能技术生成

GLM作为ChatGLM的前期基础论文，值得精读。本文是对GLM论文的精读笔记，希望对大家有帮助。GLM主要思想概述，利用自回归填空的思想，基于transformer的编码器实现了同时在NLU和有无条件生成任务上较好的表现。

基本信息

原文：GLM： General Language Model Pretraining with Autoregressive Blank Infilling ，ACL2022，

论文地址：https://aclanthology.org/2022.acl-long.26.pdf

代码：GitHub - THUDM/GLM: GLM (General Language Model)

目录

背景

时下主流预训练框架分为3种

Bert、GPT、T5的区别对比

GLM架构

主要思路：

模型具体处理

自回归空格填充任务

模型基本单元

预训练目标的数学逻辑

三类预训练目标

微调

GLM与相关模型的对比

T5和GLM

GLM的总结

参考与致谢

背景

时下主流预训练框架分为3种

  • autoencoding自编码模型

    • 通过去噪目标学习双向上下文编码器，例如掩码语言模型 (MLM) 。 擅长自然语言理解NLU任务，常用于生成句子的上下文表示，但是不能直接用于文本生成。如情感分类、抽取式问答

    • 代表模型如Bert、RoBERTa、ALBERT

  • autoregressive自回归模型

    • 学习从左到右的语言模型，常用于无条件生成任务(unconditional generation)，如语言建模，具体形如给定一段context，让生成其下文

    • 代表模型如：GPT、GPT-2、GPT-3

  • encoder-decoder模型

    • 常用于条件生成任务（conditional generation），比如生成摘要、生成式问答、机器翻译

    • 代表模型MASS、BART、PALM

自然语言任务三类

  • 自然语言理解NLU，包括情感分类、抽取式问答、自然语言推理等

  • 无条件生成，如语言建模

  • 条件生成(seq2seq)，如摘要、生成式问答、机器翻译

Bert、GPT、T5的区别对比

  • BERT的注意力是双向的，可以同时感知上文和下文，因此在自然语言理解任务上表现很好，但是不适合生成任务。训练目标上，BERT的训练目标是对文本进行随机掩码，然后预测被掩码的词。

  • GPT的注意力是单向的，所以无法利用到下文的信息。训练目标上，GPT的训练目标是从左到右的文本生成。

  • T5的编码器中的注意力是双向，解码器中的注意力是单向的，因此可同时应用于自然语言理解任务和生成任务。但T5为了达到和RoBERTa和DeBERTa相似的性能，往往需要更多的参数量。训练目标上，T5则是接受一段文本，从左到右的生成另一段文本。

GLM要做的事情就是用一个模型来同时完成这三种自然处理任务并且具备较好的表现。

GLM架构

主要思路：

利用自回归填空的思想，基于transformer的编码器实现了同时在NLU和有无条件生成任务上较好的表现。处理思路包括：对于输入文本中随机地空白/删除连续的标记跨度，并按照自回归预训练的思想来训练模型来依次重建这些跨度；不同于T5的空白填充，提出了两项改进，包括跨度打乱和2D位置编码(span shuffling and 2D positional encoding)，具体为：不同的跨度的顺序是打乱的；2D位置编码包括了token在原始句子中的位置和token在跨度中的位置。

 【注】此处虽然论文中有写"single Transformer" ，但经过多方确认用的是Transformer的编码器而不是整个Transformer，详细参考了作者在B站的视频中5min左右的讲解。（论文中3.4 Ablation Study的最后一段也有提及“(1) GLM consists of a single encoder”) . 

模型具体处理

自回归空格填充任务

  • 文本原始输入: x1, x2,x3,x4,x5,x6

  • 随机筛选部分跨度的token 进行mask，原句子中的位置用mask表示

    • 筛选跨度长度的方式是使用lambda为3的泊松分布进行抽样

    • PartA 部分：x1,x2,M,x4,M ，其中M表示mask的跨度

  • 对挑选出的跨度token进行随机排序，跨度的起始位置加入tokens

    • PartB 部分： S,x5,x6,S,x3

  • 拼接PartA 和PartB作为输入

    • x1,x2,M,x4,M,S,x5,x6,S,x3

  • 字符的2D位置编码

    • 位置1： 表示token在原始句子中的位置

    • 位置2：表示token在跨度中的位置，0表示不在跨度中，不同的跨度spans中的token会重新计数

模型基本单元

  • self-attention mask

    • PartA部分内的各token可以互相注意到

    • PartB部分内的tokens可以注意到PartA和PartB中已经生成的token

    • single Transformer  ，用的是Transformer的编码器。

      • 重新调整了LN和残差连接的顺序

      • 对于token的预测输出用的是单个的线性层

      • 将激活函数由ReLU调整为了GeLUs

          

  • 自回归的方式生成预测PartB部分的跨度的token

    • x5,x6E,x3,E

    • token E表示跨度结束

预训练目标的数学逻辑

  • 自回归填空Pretaining objective

  • Probability of generating the span Si

         

三类预训练目标

针对三类下游任务设计了三种基于自回归填空的预训练目标，交替进行

  • token-level objective

    • 从一个均值为3的泊松分布中采样片段的长度，直到原始文本中15%的字符被掩盖，然后在文本中随机排布填空片段的位置。这一目标针对的是自然语言理解任务

  • sentence-level objective 句子级

    • 从文档中随机掩码若干文本片段，每个文本片段必须为完整的句子，被掩码的词数量为整个文档长度的15%。这一目标是能针对seq2seq任务，其预测往往是完整的整个句子或者段落。

  • document-level objective文档级

    • 采样一个长度从原始文本长度的50%到100%的均匀分布中采样的片段。这预训练目标针对的是无条件的长文本生成

     三类预训练目标的区别只是跨度(片段)的数量和长度的区别。【注：此处关于预训练目标的类型在GLM解析这边高赞的解析中只讲了后两者，这就容易引起误解，GLM实际是三个预训练目标，而少了一个token level，求证为参考B站一作讲解】

三类预训练目标和掩码语言的对比联系

  • 自回归填充有些类似掩码语言模型，首先采样输入文本中部分片段，将其替换为[MASK]标记，然后预测[MASK]所对应的文本片段。与掩码语言模型不同的是，预测的过程是采用自回归的方式。

  • 当被掩码的片段(跨度span)长度为1的时候，空格填充任务等价于掩码语言建模；

  • 当将文本1和文本2拼接在一起，然后将文本2整体掩码掉，空格填充任务就等价于条件语言生成任务。

  • 当全部的文本都被掩码时，空格填充任务就等价于无条件语言生成任务。

微调

  • 将所有任务都变成GLM填补空白的生成任务

    • 分类任务

      • 给定一个标注样本(x,y),我们将输入文本x通过模板转化为有一个[MASK]字符填空问题c(x)。标签y也映射到了填空问题的答案v(y) 。模型预测不同答案的概率对应了预测不同类别的概率

    • 文本生成任务

      • 针对文本生成任务，直接将GLM作为一个自回归模型的应用。比如： 给定的上下文构成输入的部分的A，在结尾附上一个[MASK]字符，模型用自回归的方式去生成B部分的文本

         

GLM与相关模型的对比

T5和GLM

  • T5提出了一个相似的文本填空目标来预训练一个编码器-解码器 Transformer模型。GLM使用了一个单一的编码器Transformer模型来同时学习单向和双向的注意力机制。（注意GLM只是编码器)

  • T5对编码器和解码器使用了独立的位置编码，并且依赖多个sentinel token来区别不同的填空片段，而GLM使用二维位置编码来表示填空中的位置信息。

  • 当有多个填空片段时，T5总是按照固定的从左到右的顺序来预测，而GLM会随机打乱片段的顺序来完整捕捉片段之间的依赖关系。

GLM的总结

  • GLM是一个针对自然语言理解和生成的通用的预训练框架。

  • GLM将针对不同类型下游任务的预训练目标统一为了自回归填空，结合了混合的注意力机制和新的二维位置编码。自然语言理解任务被表达为了条件生成任务，因此可以用自回归模型来解决。

  • 实验中，表明GLM在自然语言理解任务上超过了已有的方法，并且可以有效的在不同类型的任务中共享预训练的参数。       ​​​

参考与致谢

大语言模型ChatGPT的时代已经来临，作为一个多年前的NLPer，真的被LLM的效果和进展惊艳到了，国内LLM截止当前2023/05做的最好的就是清华的ChatGLM了，而且ChatGLM-6B可以在自己的单卡上就进行部署，也进行了部分开源，原生支持中文，给了大家更多的可能性和想象空间。本文作为LLM笔记的第一篇，论文读了好几遍，前期读的时候很难受也有很多疑问，后面反复的查和问与对比，现在感觉有那么点理解了，后续会努力更新这个系列，真正踏实的读论文看代码。

读论文时参考了大量前辈大佬们的解析，对我理解该文帮助很大，向大佬们致敬！同时感谢七月在线的July和阳哥以及学友的讨论！

 https://aclanthology.org/2022.acl-long.26.pdf

GitHub - THUDM/GLM: GLM (General Language Model)

自然语言大模型 ：GLM 通用语言模型的训练与微调_哔哩哔哩_bilibili ACL'22 | GLM: 基于空格填充的通用语言模型 - 知乎

GLM General Language Model Pretraining with Autoregressive Blank Infilling (ACL_哔哩哔哩_bilibili

听听经典老歌 BART_哔哩哔哩_bilibili经典默剧音乐 GLM ACL2022_哔哩哔哩_bilibili

https://zhuanlan.zhihu.com/p/560559133

GLM: General Language Model Pretraining with Autoregressive Blank Infilling-腾讯云开发者社区-腾讯云听听经典老歌 BART_哔哩哔哩_bilibili

【OpenLLM 004】GLM-可能是当前开源ChatGPT复现中中文效果最好的基础模型！支持中英双语！ - 知乎

https://blog.csdn.net/weixin_43199832/article/details/125803555

旺仔的算法coding笔记
关注
专栏目录
LLM - 第2版 ChatGLM2-6B (General Language Model) 的工程配置
Mystra
06-28 1280
ChatGLM2-6B 是开源中英双语对话模型的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上。ChatGLM以上来自于官网的介绍。
GLM-4本地部署的实战教程
热门推荐
herosunly的博客
06-05 11万+
本文主要介绍了GLM-4-9B本地部署的实战教程，希望对学习和使用大模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行glm-4-9b-chat
清华大学chatGLM论文解读
zsq_csh1的博客
05-28 8896
2022年11月，斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测[2]，GLM-130B 是亚洲唯一入选的大模型。在与 OpenAI、谷歌大脑、微软、英伟达、脸书的各大模型对比中，评测报告显示 GLM-130B 在准确性和恶意性指标上与 GPT-3 175B (davinci) 接近或持平，鲁棒性和校准误差在所有千亿规模的基座大模型（作为公平对比，只对比无指令提示微调模型）中表现不错。
ChatGLM模型深度解析：中英双语论文阅读心得
最新发布
lazycatlove的博客
08-02 281
GLM-130B和相比，参数量减少，但性能提升了。INT4量化是一种将模型的权重和激活从使用较高位宽（如32位或16位浮点数）的表示减少到使用4位整数（INT4）的表示的过程。量化可以显著减少模型的内存需求和计算量，因此可以在资源有限的硬件上运行更大的模型，或者加快模型的推理速度。不进行后续训练（post-training）的情况下进行INT4量化是一个挑战，因为通常量化会引入噪声和损失精度，影响模型的性能。后续训练（也称为量化感知训练）通常被用来微调量化后的模型，以恢复一些由于量化造成的性能损失。
GLM(一) -- 论文翻译：《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》
12-11 687
总之，我们得出结论，GLM能够有效地在自然语言理解和生成任务中共享模型参数，并且比独立的BERT、编码-解码器或GPT模型获得更好的性能。
GLM 论文阅读
qq_38335659的博客
03-18 886
已经存在各种类型的预训练体系结构，包括自编码模型（例如BERT）、自回归模型（例如GPT）和编码器-解码器模型（例如T5）。然而，没有一个预训练框架在自然语言理解（NLU）、无条件生成和条件生成这三个主要类别的所有任务中表现最好。论文提出了一种基于自回归空白填充的通用语言模型（GLM，General Language Model）来应对这一挑战。GLM通过添加2D位置编码和允许任意顺序预测跨度来改进空白填充预训练，这导致在NLU任务上的性能优于BERT和T5。
GLM: General Language Model Pretraining with Autoregressive Blank Infilling
m0_48923489的博客
05-01 1720
已经有各种类型的预训练架构，包括自编码模型（例如BERT），自回归模型（例如GPT）和编码器-解码器模型（例如T5）。然而，没有一个预训练框架对三个主要类别的所有任务（自然语言理解（NLU），无条件生成和有条件生成）都表现最佳。我们提出了一种基于自回归空白填充的通用语言模型（GLM）来应对这一挑战。GLM通过添加2D位置编码并允许任意顺序预测跨度来改进空白填充预训练，从而在NLU任务上比BERT和T5获得了性能提升。同时，通过变化空白数量和长度，可以针对不同类型的任务对GLM进行预训练。
大语言模型-GLM论文
11-05
大语言模型（General Language Model，GLM）是一种基于自回归空白填充（Autoregressive Blank Filling）的预训练架构，可以在自然语言理解（Natural Language Understanding，NLU）、无条件生成和条件生成等多种任务...
glm4-9b-pytorch多轮对话算法模型.zip
07-09
GLM-4-9B是智谱AI推出的最新一代预训练模型GLM-4系列中的开源版本，在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本GLM-4-9B-Chat均表现出超越 GLM-4-9B是智谱AI推出的最新...
glm-4-9b-chat-1m模型代码文件
06-10
glm-4-9b-chat-1m模型代码文件
【深度学习】大模型GLM-4-9B Chat ，微调与部署(1)
q742971636的博客
07-22 1387
下载好东西：下载数据集ccfbdci.jsonl到同级目录下。配置文件微调的配置文件位于configlora.yamlsft.yaml。
论文研究 - 基于GLM的大鹏湾渔业资源季节性变化分析
06-01
大鹏湾是南中国海（SCS）的典型近海渔业区。 为了了解渔业资源，根据Spring（3月）和3月（1月）的拖网调查数据，分析了中国大鹏湾的种类组成，优势种类组成，标准捕捞量（SCPUE）和渔业资源群落多样性的季节性变化。 2013年夏季（5月），2012年秋季（8月）和冬季（12月）。结果表明，共有113种渔业种类，属于78个类别，50个科目，14个类别，3个类别。 夏季物种最多（61种），其他季节大约56种。 在所有四个季节中，鱼类和甲壳纲动物是优势物种，头足纲动物最少。 SCPUE的高值发生在Spring和秋季，分别达到5.65和5.33。 夏季，SCPUE通常较低，介于0.52-0.96之间。 鱼类生物多样性在夏季最高，而在冬季最低。 在生物多样性中，Shannon-Wiener多样性指数，Margalef多样性指数和Pielou均匀度指数变化趋势相同。 从夏季，Spring，秋季到冬季，它们依次减少。 因此，大鹏湾渔业资源的种类组成，数量和结构存在剧烈的季节性变化。 夏季群落结构和功能高度稳定，而秋季和冬季则较差。 该研究可为南海典型海域渔业中保护和可持续利用渔业资源提供科学依据
GLM General Language Model Pretraining with Autoregressive Blank Infilling
be_humble的博客
05-29 1955
ACL2022 统一预训练模型
GLM论文研读
XD的博客
04-02 1943
目前已经发展出多种预训练模型，包括自编码模型（如BERT）、自回归模型（如GPT）和编码器-解码器模型（如T5）。然而，这些模型并未在自然语言理解（NLU）、无条件生成和条件生成这三类任务中都达到最佳表现。为此，我们提出了一个基于自回归式空格填充的通用模型（GLM）以应对这一挑战。GLM通过加入二维位置编码，并允许以任意顺序预测片段，优化了空格填充预训练，这使得其在NLU任务上的性能优于BERT和T5。同时，GLM可以通过调整空白数量和长度，针对不同类型的任务进行预训练。
大语言模型论文阅读—Title: GLM: General Language Model Pretraining with Autoregressive Blank Infilling
qjzcy的博客
05-31 389
b. 创新，性能和工作负载：GLM与BERT、T5和GPT等现有的预训练框架相比，使用相同的模型尺寸和数据，在各种自然语言理解、条件和无条件生成任务中表现出卓越的性能。b. 历史发展：传统的语言模型使用从左到右的解码方式，而GLM的预训练目标则是训练模型预测句子中缺失的单词，从而能更好地预测未来输入的单词序列。a. 研究的理论基础：GLM使用自回归空格填充目标来预训练语言模型，通过变化不同长度和数量的缺失跨度，可以完成有条件或无条件的文本生成预训练。c. 过去的方法：传统的语言模型使用从左到右的解码方式。
GLM论文阅读
DeerEyre的博客
05-24 401
GLM 是一个用于自然语言理解和生成的通用预训练框架，NLU任务可以公式化为条件生成任务，因此可以通过自回归求解。GLM将不同任务预训练统一为自回归空白填充，使用混合注意力掩码和2D位置编码，优于以前的方法，同时可以有效的共享不同任务的参数。
GLM(General Language Model)代码分析
weixin_43199832的博客
07-15 2518
GLM: General Language Model Pretraining with Autoregressive Blank Infilling代码分析
【chatGLM论文笔记】GLM: General Language Model Pretrainingwith Autoregressive Blank Infilling
技术宅学长的博客
10-31 1248
CHATGML 。通过改变空格的数量和长度，可以对不同类型的任务进行GLM的预训练。在NLU、条件生成和无条件生成的广泛任务中，在相同模型大小和数据的情况下，GLM优于BERT、T5和GPT，并在单个BERTLarge参数为1.25倍的预训练模型上取得了最佳性能，证明了其对不同下游任务的泛化能力1。2 .T5 (Raffel等人，2020年)通过编码器-解码器模型统一了NLU和条件生成，但需要更多参数来匹配基于BRET的模型的性能，如RoBERTa(刘等人，2019年)和DeBERTa(何等人，2021年)
论文浅读：GLM-130B（ AN OPEN BILINGUAL PRE-TRAINEDMODEL）
人工智能讲师分享前沿技术
06-26 1320
我们将从工程方面的努力、模型的设计和选择、高效稳定的训练策略和可负担推理接口的量化操作几方面来介绍GLM-130B。大语言模型（LLM）在zero-shot 和 few-shot的任务上有明显的优势，特别是模型参数量超过千亿级别（100B）的时候。可以看到，随着模型参数量的增加，FP16精度和INT4精度的GLM模型效果相差越来越小，特别是到了千亿参数量的时候，二者之间的差异更小。和百亿级别的模型相比，训练如此规模大小（100B）的大模型，会面临很多技术和工程上面的挑战，比如在。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值