Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

已于 2024-04-03 09:50:22 修改
阅读量150 收藏
点赞数
分类专栏： NLP Papers NLP AI 文章标签： 人工智能 深度学习 自然语言处理
于 2021-08-22 00:29:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chansonzhang/article/details/119842637
版权
NLP Papers 同时被 3 个专栏收录
54 篇文章 23 订阅 ¥29.90 ¥99.00
订阅专栏 超级会员免费看
AI
68 篇文章 2 订阅
订阅专栏
NLP
60 篇文章 1 订阅
订阅专栏
Transformer-XL 是一种改进的Transformer架构，旨在解决语言建模中固定长度上下文的限制，从而能学习更长距离的依赖。模型通过引入段级递归机制和新颖的相对位置编码，成功解决了上下文碎片化问题并提高了推断速度。实验显示，Transformer-XL相比RNN和常规Transformer能捕获更长距离的依赖，并在多个任务上刷新了SOTA。
摘要由CSDN通过智能技术生成

Abstract

Transformer 结构具有学习长距离依赖的潜力，但在 language modeling 中受限于固定长度的上下文。本文提出的 Transformer-XL(extra long) 架构可以可以突破此限制，在保持连贯性的同时学到更长距离的依赖。Transformer-XL 主要有两个创新：

  • introduce segment-level recurrence mechanism into deep self-attention network
  • introduce noval relative positional encoding scheme

实现的效果主要有：

  • 捕获更长距离的依赖（80% longer than RNNs and 450% longer than vanilla Transformers）
  • 解决 context fragmentation 问题
  • evaluation speed up (1800+ times faster than vanilla Transformers)

注：论文中用于对比的 vanilla Transf

了解本专栏 订阅专栏 解锁全文 超级会员免费看
chansonzhang
关注
专栏目录
订阅专栏
论文笔记 | Transformer-XL：Attentive Language Models Beyond a Fixed-Length Context
u011150266的博客
05-01 452
作者：韩 单位：燕山大学 论文地址：https://arxiv.org/pdf/1901.02860.pdf 代码地址：https://github.com/kimiyoung/transformer-xl 目录一、Transformer二、vanilla Transformer三、Transformer-XL3.1 片段级递归机制3.2 相对位置编码机制四、实验分析五、总结 一、Transformer   目前在NLP领域中，处理语言建模问题最先进的基础架构即Transformer。2017年6月，.
Transformer-XL： Attentive Language Models Beyond a Fixed-Length Context（2019-1-9）
weixin_49346755的博客
07-10 387
Transformer最大的问题在于没有办法建模超过最大长度的序列，Transformer-XL主要提出了两个优化点：段级递归和相对位置编码。为了解决固定长度的限制，Transformer-XL提出了一种递归机制，如下图，第一个segment计算完成后，把计算的结果保存下来，在计算第二个片段的时候，把第一个片段的hidden state和第二个片段的hidden state拼接在一起，再进行后续的计算。 我们看下具体的计算公式，其中h表示的是hidden state， τ \tau τ表示第 τ \tau
[论文阅读]Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
ZY_miao的博客
01-21 453
文章目录前言摘要1、Introduction & Motivation2、How to do ?2.1 Segment-Level Recurrence Mechanism2.2 Relative Positional Encoding3、Experiments Analysis（main）总结 前言 论文名：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 论文作者：Zihang Dai et al.
【PTM】Transformer-XL：捕捉超长上下文依赖
阿泽的学习笔记
05-20 669
今天学习的是谷歌大脑的同学和 CMU 的同学于 2019 年联合出品的论文《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》，目前被引次数超 200 次。 这篇论文提出的 Transformer-XL 主要是针对 Transformer 在解决长依赖问题中受到固定长度上下文的限制，如 Bert 采用的 Transformer 最大上下文为 512。 Transformer-XL 采用了一种 segment-lev
NLP（十二）：Transformer-XL和XLNet
lygeneral的博客
08-29 1211
1.Transformer-XL 1.1 Vanilla Transformer Language Models 把长文本的输入切分成多个Segment Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context（Google）（ICLR 2019 被拒）基于一种相对位置编码方式建立循环的transformer建模机制，解决长文本的建模，捕获超长距离依赖。 优点 在几种不同的数据集（大/小，字符级别/单词级别等）均实现了最先
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context_学习笔记
敷衍zgf的博客
01-13 900
对Transformer-XL模型的理解
【预训练语言模型】Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
夏栀的博客
01-14 804
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context   前记： 【预训练语言模型】系列文章是对近几年经典的预训练语言模型论文进行整理概述，帮助大家对预训练模型进行全局的理解。本系列文章将不断更新，敬请关注博主。本文分享一个对Transformer进行改进的模型Transformer-XL，其认为原始的Transformer在处理超过预定长度的文本采用分段（chunk）策略，但各个片段（segment）独立地训练，忽略
Transformer-XL: 非固定长度上下文的注意力语言模型（Attentive Language Models Beyond a Fixed-Length Context）
十里清风
08-10 603
Transformers可潜在地学习长期依赖关系，但受到固定上下文的限制，当待处理的文本长度超过固定长度时： 训练阶段，需将输入文本分割成不同分段，不同分段独立训练，由于分段未考虑语义边界，可能造成模型缺乏上下文信息预测分段中的前几个字符，产生上下文碎片问题； 预测阶段，每次移动一个输入单元，引入大量重复计算，预测效率低； Transformer-XL基于 循环分段机制 和 相对位置编码，克服vanilla Transformers的固定上下文长度的缺陷，并能够解决分段造成的上下文碎片问题。Transf
论文速览【LLM】—— 【Transformer-XL】Attentive Language Models Beyond a Fixed-Length Context
最新发布
佚失的诗篇
06-26 659
标题：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context；发表：ACL 2019；领域：Transformer (decoder) 改进
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context翻译
nopSled
07-05 717
github:https://github.com/kimiyoung/transformer-xl 摘要 Transformers具有学习长期依赖的潜力，但在语言模型的设置中受到固定长度上下文的限制。我们提出了一种新型的神经网络结构Transformer-XL，它可以在不中断时间一致性的情况下学习到超出固定长度的依赖性。它由段级重现机制和新的位置编码方案组成。我们的方法不仅可以捕获长距离依赖性，...
[论文笔记]Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
日积月累，天道酬勤
03-11 667
Transformer-XL论文笔记详解
论文：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
chaojianmo的博客
12-11 279
Transformers具有学习长期依赖的潜力，但在语言模型的设置中受到固定长度上下文的限制。Transformer-XL引入了两点创新——循环机制（Recurrence Mechanism）和相对位置编码（Relative Positional Encoding）,不仅可以捕获长距离依赖性，还可以解决上下文碎片问题。Transformer-XL学习的依赖性比RNN长80％，比vanilla Tr...
Transformer-XL模型：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
ACM_hades的博客
04-15 1392
参考链接 参考论文:https://arxiv.org/abs/1901.02860 参考博客:https://ai.googleblog.com/2019/01/transformer-xl-unleashing-potential 摘要 Transformer网络具有学习更长期依赖性的潜力，但这种潜力往往会受到上下文长度固定 的限制。因此，我们提出了一种叫做 Transformer-XL 的...
Transformer-XL: Attentive Language ModelsBeyond a Fixed-Length Context 论文总结
Harry的博客
04-21 430
Paper：Transformer-XL: Attentive Language ModelsBeyond a Fixed-Length Context Code：Transformer-XL code 1. 论文简介 Transfomer-XL = Transformer Extra Long 2. 什么是Transformer 3. Vanilla transfomer langangemodels 简单介绍与缺点 3.1简单介绍 3.2 缺...
Transformer-XL：超越固定长度上下文的注意力语言模型
"Transformer-XL 论文：Transformer-XL是Google推出的一种改进的Transformer模型，旨在解决传统Transformer在语言建模时固定长度上下文的限制，适用于语言模型、对话系统等任务。通过引入段级循环机制和创新的位置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值