论文阅读笔记 GLM: General Language Model Pretrainingwith Autoregressive Blank Infilling

最新推荐文章于 2024-07-16 11:34:02 发布
最新推荐文章于 2024-07-16 11:34:02 发布
阅读量153 收藏
点赞数
文章标签： 论文阅读 笔记 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_68990480/article/details/131220002
版权

2022-Du-GLM General Language Model Pretraining with Autoregressive Blank Infilling

Abstract

GLM基于自回归填空的通用语言模型，可比预训练自编码模型BERT、自回归模型GPT、编码-解码模型T5效果好。

自回归填空架构

微调GLM

讨论与分析

比较GLM与其他预训练模型的差异

与BERT比较

与XLNet比较

与T5比较

与UniLM比较

实验

预训练

多任务预训练

序列到序列

结论

GLM是通用的预训练架构以供NLunderstanding和generation生成，可由自回归模型解决，填空混合了注意力masks和novel 2D位置编码，实验上GLM的表现更加出色，并且可以有效地在不同任务下共享参数。

附

设置

超参数

Sunny G helloworld
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【论文阅读笔记】GLM-130B: AN OPEN BILINGUAL PRE-TRAINEDMODEL
11-01
GLM-130B：AN OPEN BILINGUAL PRE-TRAINED MODEL GLM-130B 是一个双语（英语和中文）的预训练语言模型，具有 130 亿个参数。它是一个尝试开放源代码的 100B 级模型，至少与 GPT-3（davinci）一样好，揭示了如何成功...
glm：OpenGL数学（GLM）
01-30
5. **兼容性**：GLM库与C++11及以上版本兼容，并且通过提供`glm::detail`命名空间下的原始类型和函数，为与OpenGL着色器的交互提供便利。同时，它还支持CUDA和SYCL等并行计算框架。 6. **矩阵变换**：GLM提供了旋转...
GLM General Language Model Pretraining with Autoregressive Blank Infilling
be_humble的博客
05-29 1918
ACL2022 统一预训练模型
简读 General Language Model Pretraining with Autoregressive Blank Infilling
weixin_46133588的博客
04-05 518
GLM模型
大语言模型论文阅读—Title: GLM: General Language Model Pretraining with Autoregressive Blank Infilling
qjzcy的博客
05-31 376
b. 创新，性能和工作负载：GLM与BERT、T5和GPT等现有的预训练框架相比，使用相同的模型尺寸和数据，在各种自然语言理解、条件和无条件生成任务中表现出卓越的性能。b. 历史发展：传统的语言模型使用从左到右的解码方式，而GLM的预训练目标则是训练模型预测句子中缺失的单词，从而能更好地预测未来输入的单词序列。a. 研究的理论基础：GLM使用自回归空格填充目标来预训练语言模型，通过变化不同长度和数量的缺失跨度，可以完成有条件或无条件的文本生成预训练。c. 过去的方法：传统的语言模型使用从左到右的解码方式。
ChatGLM基座 |《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》
weixin_43646592的博客
05-30 1817
ChatGLM基座 |《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》
【LLM系列之GLM】GLM: General Language Model Pretraining with Autoregressive Blank Infilling
yanqianglifei的专栏
05-14 1223
目前，已经有各种类型的预训练架构，包括自编码模型（例如BERT），自回归模型（例如GPT）和编码器-解码器模型（例如T5）。然而，没有一个预训练框架对三个主要类别的所有任务（自然语言理解（NLU），无条件生成和有条件生成）都表现最佳。提出了一种基于自回归空白填充的通用语言模型（GLM）来应对上述三种任务。GLM通过添加2D位置编码并允许任意顺序预测跨度来改进空白填充预训练，从而在NLU任务上比BERT和T5获得了性能提升。通过变化空白数量和长度，可以针对不同类型的任务对GLM进行预训练。
【chatGLM论文笔记】GLM: General Language Model Pretrainingwith Autoregressive Blank Infilling
技术宅学长的博客
10-31 1059
CHATGML 。通过改变空格的数量和长度，可以对不同类型的任务进行GLM的预训练。在NLU、条件生成和无条件生成的广泛任务中，在相同模型大小和数据的情况下，GLM优于BERT、T5和GPT，并在单个BERTLarge参数为1.25倍的预训练模型上取得了最佳性能，证明了其对不同下游任务的泛化能力1。2 .T5 (Raffel等人，2020年)通过编码器-解码器模型统一了NLU和条件生成，但需要更多参数来匹配基于BRET的模型的性能，如RoBERTa(刘等人，2019年)和DeBERTa(何等人，2021年)
ChatGLM基座：GLM（General Language Model）论文阅读笔记
Hanze的博客
03-25 4960
经验表明，GLM在NLU任务中的表现优于以前的方法，并且可以有效地共享不同任务的参数。Sentence-level：限制被mask的跨度必须是完整的句子。现在有很多Pretrain model 的架构， 如Bert、GPT、T5等，但是当时没有一种模型能在NLU、有条件文本生成、无条件文本生成都有很好的表现。作者提到上述框架不够灵活，之前也有人做过统一这两个架构的工作，但是自编码与自回归本质的不同，不能很好的继承两个架构的优点，这两个新目标的定义与原目标相同，唯一不同的是的跨度数量和跨度长度。
大语言模型-GLM论文
11-05
大语言模型（General Language Model，GLM）是一种基于自回归空白填充（Autoregressive Blank Filling）的预训练架构，可以在自然语言理解（Natural Language Understanding，NLU）、无条件生成和条件生成等多种任务...
PGR-GLM:PGR广义线性建模课程
04-20
《PGR广义线性建模课程》是一个深入学习广义线性模型（GLM）的教育资源，结合了遗传算法的运用。这个课程主要面向R语言的用户，旨在提升他们在统计建模领域的技能，特别是在处理非正态分布响应变量时的能力。通过R...
GLM动态库、静态库和头文件（OpenGL）
04-24
GLM，全称为OpenGL Mathematics，是一个C++数学库，它为OpenGL编程提供了便利的数学结构和函数，主要用于3D图形编程。GLM库的设计灵感来源于OpenGL的着色语言GLSL，因此它的API与GLSL非常相似，使得在CPU端编写代码...
[论文阅读]MaIL: Improving Imitation Learning with Mamba
qq_33673253的博客
07-13 792
这项工作介绍了mamba模仿学习（mail），这是一种新颖的模仿学习（il）架构，为最先进的（sota）变换器策略提供了一种。基于变压器的策略由于能够处理具有固有非马尔可夫行为的人类记录数据而取得了显著成果。然而，它们的高性能伴随着大型模型的缺点，这使得有效的训练变得复杂。虽然状态空间模型（ssms）以其效率而闻名，但它们无法与变压器的性能相匹配。mamba显著提高了ssms和竞争对手对transformers的性能，使其成为il政策的一个有吸引力的替代方案。mail。
Feature Alignment and Uniformity for Test Time Adaptation--论文笔记
dezwb的博客
07-11 1113
TTA在接收训练分布外的测试域样本时对深度神经网络进行自适应。在这样设置下，模型只能访问在线未标记的测试样本和训练域上的预训练模型。由于源域和目标域之间的域差距，我们首先将TTA作为一个特征修正问题来解决。之后，我们根据对齐和一致性两个方面来讨论测试时间特征的修正。对于测试时间特征一致性，我们提出了一种测试时间自蒸馏策略，以确保当前批次和所有先前批次的表示之间的一致性。对于测试时间特征对齐，我们提出了一种记忆的空间局部聚类策略，以对齐即将到来的批次的邻域样本之间的表示。
论文阅读【时间序列】TimeMixer (ICLR2024)
micaudience的博客
07-11 1218
TimeMixer: DECOMPOSABLE MULTISCALE MIXING FOR TIME SERIES FORECASTING [清华+蚂蚁] ICLR 2024 时间序列论文
【论文阅读】MCTformer+:弱监督语义分割的多类令牌转换器
最新发布
川川自溢的博客
07-16 562
【论文阅读】MCTformer+:弱监督语义分割的多类令牌转换器
GAN网络（论文阅读）：Generative Adversarial Nets
m0_54248968的博客
07-14 1370
当判别器效果比较好时，D(G(z))值为0，则log(1-D(G(z)))值为0，当判别器效果不好，会输出一个大于0 的数，则log(1-D(G(z)))值就为一个负数，在极端情况下，会得到负无穷大，此时判别失误。在价值函数的第二项中存在问题，在早期G比较弱的时，生成的数据和真实数据相差很大，D就容易训练的比较好，很容易区分，就会导致log(1-D(G(z)))变成0 ，这样很难求梯度来优化G，所以更新G时，将优化函数改为log(D(G(z)))。最终使G赢，即G生成的数据D判别不出来。
[论文笔记]构建基于RAG聊天机器人的要素
日积月累，天道酬勤
07-12 748
⭐ 作者来自英伟达的团队，介绍了他们在构建企业级RAG聊天机器人的经验。提出了FACTS这5个要注意的方面以及15个可提升性能的控制点。是一篇偏实战的工作，值得仔细研读。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值