简读 General Language Model Pretraining with Autoregressive Blank Infilling

最新推荐文章于 2024-03-30 20:12:20 发布
最新推荐文章于 2024-03-30 20:12:20 发布
阅读量520 收藏 3
点赞数 3
分类专栏： NLP 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46133588/article/details/129964357
版权
GLM是一种新的语言模型预训练方法，通过自回归空白填充策略来训练模型。它涉及将句子的部分遮盖并打乱顺序，然后让模型恢复原始内容，以增强模型对语言结构和顺序的理解。GLM使用改进的Transformer结构，包括重排LN和残差顺序，以及使用ReLU和2D位置编码。在特定任务上，GLM可以利用prompt进行微调，并且其推理方式始终是自左向右的。
摘要由CSDN通过智能技术生成

GLM: General Language Model Pretraining with Autoregressive Blank Infilling

文章目录

前言

论文：GLM: General Language Model Pretraining with Autoregressive Blank Infilling
Github:https://github.com/THUDM/GLM

一、原理

在这里插入图片描述

在这里插入图片描述
训练任务：三个
在这里插入图片描述

在这里插入图片描述
mask x3 & x5 x6, 掩盖部分使用mask替代的原句作为Part A的输入，打乱【x5,x6】【x3】的顺序。

position 1 为原来的位置信息；position 2 标识正文、两个部分的起始终止，保证片段的完整性
在这里插入图片描述
PartA 蓝色框，full attention
PartB 黄和绿色框，单向可见
打乱的目的是解决：生成的顺序不依赖前后关系
在这里插入图片描述
模型部分：
1、使用单个transformer结构，并进行改进
2、重新排序LN和残差的顺序
3、使用单层的linear作为token的预测输出
4、使用relu替代gelu
5、2d positional encoding
6、finetuning-PET

在这里插入图片描述
在这里插入图片描述
特定的任务有特定的prompt
在这里插入图片描述

在这里插入图片描述
T5预训练中和FT中使用PE的策略不一致。推理总是从左到右。

在这里插入图片描述
实验
在这里插入图片描述

二、总结

在这里插入图片描述

GF心流
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【chatGLM论文笔记】GLM: General Language Model Pretrainingwith Autoregressive Blank Infilling
技术宅学长的博客
10-31 1102
CHATGML 。通过改变空格的数量和长度，可以对不同类型的任务进行GLM的预训练。在NLU、条件生成和无条件生成的广泛任务中，在相同模型大小和数据的情况下，GLM优于BERT、T5和GPT，并在单个BERTLarge参数为1.25倍的预训练模型上取得了最佳性能，证明了其对不同下游任务的泛化能力1。2 .T5 (Raffel等人，2020年)通过编码器-解码器模型统一了NLU和条件生成，但需要更多参数来匹配基于BRET的模型的性能，如RoBERTa(刘等人，2019年)和DeBERTa(何等人，2021年)
GLM General Language Model Pretraining with Autoregressive Blank Infilling
be_humble的博客
05-29 1926
ACL2022 统一预训练模型
ChatGLM基座 |《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》
weixin_43646592的博客
05-30 1839
ChatGLM基座 |《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》
大语言模型论文阅读—Title: GLM: General Language Model Pretraining with Autoregressive Blank Infilling
qjzcy的博客
05-31 380
b. 创新，性能和工作负载：GLM与BERT、T5和GPT等现有的预训练框架相比，使用相同的模型尺寸和数据，在各种自然语言理解、条件和无条件生成任务中表现出卓越的性能。b. 历史发展：传统的语言模型使用从左到右的解码方式，而GLM的预训练目标则是训练模型预测句子中缺失的单词，从而能更好地预测未来输入的单词序列。a. 研究的理论基础：GLM使用自回归空格填充目标来预训练语言模型，通过变化不同长度和数量的缺失跨度，可以完成有条件或无条件的文本生成预训练。c. 过去的方法：传统的语言模型使用从左到右的解码方式。
【LLM系列之GLM】GLM: General Language Model Pretraining with Autoregressive Blank Infilling
yanqianglifei的专栏
05-14 1242
目前，已经有各种类型的预训练架构，包括自编码模型（例如BERT），自回归模型（例如GPT）和编码器-解码器模型（例如T5）。然而，没有一个预训练框架对三个主要类别的所有任务（自然语言理解（NLU），无条件生成和有条件生成）都表现最佳。提出了一种基于自回归空白填充的通用语言模型（GLM）来应对上述三种任务。GLM通过添加2D位置编码并允许任意顺序预测跨度来改进空白填充预训练，从而在NLU任务上比BERT和T5获得了性能提升。通过变化空白数量和长度，可以针对不同类型的任务对GLM进行预训练。
XLNet Generalized Autoregressive Pretraining for Language Unders
08-07
它的设计目的是结合自回归（Autoregressive, AR）语言建模和自编码（Autoencoding, AE）的优点，同时解决这两种方法的局限性。XLNet的核心创新在于提出了一个通用化的自回归预训练方法，它不仅能够捕捉双向上下文...
awesome-vision-language-pretraining-papers:视觉和语言预训练模型（VL-PTM）的最新进展
04-22
视觉和语言预训练模型（VL-PTM）的最新进展 由（ ）维护。 2021/02/26的最新更新。 目录 基于图像的VL-PTM 表征学习 预训练不可知视觉语言表示法，NeurIPS 2019 [代码] LXMERT：从变压器学习跨模态编码器表示法，...
pretraining-for-language-understanding:训练语言模型以进行语言理解
03-14
语言理解预训练 现在，针对语言理解的语言模型预训练是NLP上下文中的重要一步。 语言模型将在庞大的语料库上进行训练，然后我们可以将其用作需要处理语言的其他模型的组成部分（例如，将其用于下游任务）。...
dont-stop-pretraining:与``不要停止预培训ACL 2020''论文相关的代码
03-20
title = { Don't Stop Pretraining: Adapt Language Models to Domains and Tasks } , year = { 2020 } , booktitle = { Proceedings of ACL } , } 安装 conda env create -f environment.yml co
GLM: General Language Model Pretraining with Autoregressive Blank Infilling
m0_48923489的博客
05-01 1683
已经有各种类型的预训练架构，包括自编码模型（例如BERT），自回归模型（例如GPT）和编码器-解码器模型（例如T5）。然而，没有一个预训练框架对三个主要类别的所有任务（自然语言理解（NLU），无条件生成和有条件生成）都表现最佳。我们提出了一种基于自回归空白填充的通用语言模型（GLM）来应对这一挑战。GLM通过添加2D位置编码并允许任意顺序预测跨度来改进空白填充预训练，从而在NLU任务上比BERT和T5获得了性能提升。同时，通过变化空白数量和长度，可以针对不同类型的任务对GLM进行预训练。
论文阅读笔记 GLM: General Language Model Pretrainingwith Autoregressive Blank Infilling
weixin_68990480的博客
06-15 160
GLM是通用的预训练架构以供NLunderstanding和generation生成，可由自回归模型解决，填空混合了注意力masks和novel 2D位置编码，实验上GLM的表现更加出色，并且可以有效地在不同任务下共享参数。GLM基于自回归填空的通用语言模型，可比预训练自编码模型BERT、自回归模型GPT、编码-解码模型T5效果好。比较GLM与其他预训练模型的差异。
GLM论文精读-自回归填空的通用语言模型
wangwangstone的博客
05-09 4252
本文是对类ChatGPT模型ChatGLM的奠基模型GLM原理的解析，针对GLM： General Language Model Pretraining with Autoregressive Blank Infilling ACL2022进行精读，参考了较多文章进行汇总和带着自己的部分求证与理解。GLM是一个针对自然语言理解和生成的通用的预训练框架。GLM将针对不同类型下游任务的预训练目标统一为了自回归填空，结合了混合的注意力机制和新的二维位置编码。
大模型论文阅读系列-GLM: General Language Model Pretraining with Autoregressive Blank Infilling
最新发布
jennieg的博客
03-30 969
首先提到目前三大预训练架构：自动编码模型-如Bert、自回归模型-如GPT以及编码器-解码器架构-如T5，以及三个主要任务：自然语言理解、单向生成和双向生成。现有的架构无法再所有任务中都表现优秀。于是本文提出解决方法：GLM，一个通用语言模型。GLM通过2D位置编码提升空白填充预训练，可以改变预测跨度与空格长度。讲了点基础知识：GPT：参数量大之后，在长文本生成，以及few-shot学习能力上表现都很突出。但单向生成导致不能更好地利用上下文信息。（解码器输入是token）
ChatGLM基座：GLM（General Language Model）论文阅读笔记
Hanze的博客
03-25 5040
经验表明，GLM在NLU任务中的表现优于以前的方法，并且可以有效地共享不同任务的参数。Sentence-level：限制被mask的跨度必须是完整的句子。现在有很多Pretrain model 的架构， 如Bert、GPT、T5等，但是当时没有一种模型能在NLU、有条件文本生成、无条件文本生成都有很好的表现。作者提到上述框架不够灵活，之前也有人做过统一这两个架构的工作，但是自编码与自回归本质的不同，不能很好的继承两个架构的优点，这两个新目标的定义与原目标相同，唯一不同的是的跨度数量和跨度长度。
论文阅读：预训练模型:过去，现在和未来 Pre-Trained Models: Past, Present and Future（上）
woshuaizuishuai的博客
05-07 1339
BERT和GPT等大规模预训练模型（PTMs）最近取得了巨大的成功，成为人工智能领域的一个里程碑。在本文中，我们深入研究了预训练的历史，特别是它与迁移学习和自我监督学习的特殊关系，以揭示预训练在人工智能发展光谱中的关键地位。此外，我们全面回顾了大规模预训练模型的最新突破。
ACL 2022 主会长文论文分类整理
一颗小甜心的博客
04-22 2059
导读 ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。官方发布的接收论文列表： Accepted Papers (https://www.2022.aclweb.org/papers) 目录 Adversarial attack and Robustness【对抗攻击和鲁棒性】 Dialogu.
论文笔记 -《All NLP Tasks Are Generation Tasks: A General Pre-training Framework》
Lisen’s blog
04-18 974
1、摘要   随着NLP技术的发展，越来越多的新的预训练架构不断刷榜，包括自回归模型(例如GPT)、自动编码模型(例如 BERT)和编码器-解码器模型(例如 T5)。自然语言处理任务在本质可以分为分类、无条件生成和条件生成。但是，目前没有一个预训练框架能够很好地完成所有任务。而在本文中，提出了一种通用语言模型(General Language Model，GLM)来解决这个问题。GLM模型结构有三个主要优点: (1)用一个模型就能在它分类、无条件生成和条件生成任务上表现良好; (2)改进了预训练-微调一致性
基于知识图谱的问答系统(下)
weixin_46133588的博客
03-12 9404
基于知识图谱的问答系统(下) 本项目是基于知识图谱的问答系统，BERT+BILSTM+CRF做命名实体识别和句子相似度比较，最后实现线上的部署。 项目的分以下步骤进行描述： 1-项目介绍 - 1.1-数据集介绍 - 1.2-技术方案流程 - 1.3-评价标准 2-命名实体识别模型训练代码理解 - 2.1-数据集准备 - 2.2-数据预处理 - 2.3-定义主模型 - 2.4-开始训练 3-BE...
基于知识图谱的问答系统(上)
weixin_46133588的博客
03-06 7613
基于知识图谱的问答系统(上) 本项目是基于知识图谱的问答系统，BERT+BILSTM+CRF做命名实体识别和句子相似度比较，最后实现线上的部署。 项目的分以下步骤进行描述： 1-问答QA系统简单介绍 - 1.1-问答系统目标 - 1.2-问答系统分类 - 1.3-问答系统框架 2-知识库问答KB-QA介绍 1-问答QA系统简单介绍 -1.1-问答系统目标 总目标：给定一个自然语言的问题，能够得...
"GLM：通用语言模型的预训练和自回归填充技术
The General Language Model (GLM) paper introduces a novel pretraining method called General Language Model Pretraining with Autoregressive Blank Infilling. The research team includes Zhengxiao Du, ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值