《Transformer-XL: Attentive Language ModelsBeyond a Fixed-Length Context》论文阅读笔记

最新推荐文章于 2023-09-22 18:24:00 发布
最新推荐文章于 2023-09-22 18:24:00 发布
阅读量269 收藏
点赞数
分类专栏： 论文阅读笔记 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40676758/article/details/113588972
版权

Transformer-XL: Attentive Language ModelsBeyond a Fixed-Length Context

基本信息

Authors：Zihang Dai, Zhilin Yang, Yiming Yang, Jaime Carbonell, Quoc V. Le, Ruslan Salakhutdinov

Year：2019

From：n/a

研究目的

提出一个Transformer-XL模型，可以建模长距离依赖，解决句子分割的时候不考虑句子上下文(自然边界)的问题

相关工作

  • 语言建模的提升方向
    1. 第一种是设计新结构来建模来更好地encode the context
    2. 第二种是提升归一化和优化算法
    3. 第三种是加速softmax的计算
    4. 第四种是enriching the outputdistribution family
  • 为了在语言建模中capture long-range context
    1. context representations are manually defined
    2. rely ondocument-level topics learned from data
  • 改变LSTM
    1. 更好的初始化
    2. additional loss signal
    3. ugmented memory structure
    4. modify the internal architecture of RNNs to ease the optimization

方法

  1. Segment-Level Recurrence with StateReuse
    在这里插入图片描述
    在这里插入图片描述
    这个方法会cache一系列的隐层状态h，这一系列的大小是预设的M。论文中的实验部分M等于segment length。

  2. Relative Positional Encodings
    R ∈ R L m a x × d R\in \mathbb{R}^{L_{max} \times d} R∈RLmax​×d，这就是相对位置编码的矩阵， R i R_i Ri​表示相对距离为i
    在这里插入图片描述
    以前没有information to distinguish the positional difference x r , j x_{r,j} xr,j​和 x r + 1 , j x_{r+1,j} xr+1,j​
    对于绝对位置编码有三处改变
    在这里插入图片描述
    在这里插入图片描述

  • R i − j R_{i - j} Ri−j​
  • u和v是两个可训练的变量
  • 把 W k W_k Wk​拆分成 W k , E 基 于 内 容 的 k e y W_{k,E}基于内容的key Wk,E​基于内容的key和 W k , R W_{k,R} Wk,R​基于位置的key

综合公式
在这里插入图片描述

实验

语言建模
在这里插入图片描述
消融实验

在这里插入图片描述

结论

  1. 提出了一个Transformer-XL，把循环的机制引入Transformer中，更全面地利用上下文信息，同时大大地加快了推断的速度

Notes

n/a

竹里沨笙月上门
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【自然语言处理】Transformer-XL 讲解
LJR的博客
01-06 1671
语言模型 Trm 的改进
[论文阅读]Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
ZY_miao的博客
01-21 433
文章目录前言摘要1、Introduction & Motivation2、How to do ?2.1 Segment-Level Recurrence Mechanism2.2 Relative Positional Encoding3、Experiments Analysis（main）总结 前言 论文名：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 论文作者：Zihang Dai et al.
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
candy134834的博客
02-02 4315
                                长度可以不一样的语言模型   (就是依赖下一层和下一层的前一段) https://arxiv.org/pdf/1901.02860.pdf transformer 框架有学习长期依赖的潜能，但是 受限于语言模型设置的固定长度。作为一种解决方法，我们提出一种新颖的网络结构 Transformer-XL,它能使 Transformer...
论文：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
chaojianmo的博客
12-11 277
Transformers具有学习长期依赖的潜力，但在语言模型的设置中受到固定长度上下文的限制。Transformer-XL引入了两点创新——循环机制（Recurrence Mechanism）和相对位置编码（Relative Positional Encoding）,不仅可以捕获长距离依赖性，还可以解决上下文碎片问题。Transformer-XL学习的依赖性比RNN长80％，比vanilla Tr...
【预训练语言模型】Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
夏栀的博客
01-14 802
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context   前记： 【预训练语言模型】系列文章是对近几年经典的预训练语言模型论文进行整理概述，帮助大家对预训练模型进行全局的理解。本系列文章将不断更新，敬请关注博主。本文分享一个对Transformer进行改进的模型Transformer-XL，其认为原始的Transformer在处理超过预定长度的文本采用分段（chunk）策略，但各个片段（segment）独立地训练，忽略
Transformer-XL： Attentive Language Models Beyond a Fixed-Length Context（2019-1-9）
weixin_49346755的博客
07-10 379
Transformer最大的问题在于没有办法建模超过最大长度的序列，Transformer-XL主要提出了两个优化点：段级递归和相对位置编码。为了解决固定长度的限制，Transformer-XL提出了一种递归机制，如下图，第一个segment计算完成后，把计算的结果保存下来，在计算第二个片段的时候，把第一个片段的hidden state和第二个片段的hidden state拼接在一起，再进行后续的计算。 我们看下具体的计算公式，其中h表示的是hidden state， τ \tau τ表示第 τ \tau
论文笔记 | Transformer-XL：Attentive Language Models Beyond a Fixed-Length Context
u011150266的博客
05-01 451
作者：韩 单位：燕山大学 论文地址：https://arxiv.org/pdf/1901.02860.pdf 代码地址：https://github.com/kimiyoung/transformer-xl 目录一、Transformer二、vanilla Transformer三、Transformer-XL3.1 片段级递归机制3.2 相对位置编码机制四、实验分析五、总结 一、Transformer   目前在NLP领域中，处理语言建模问题最先进的基础架构即Transformer。2017年6月，.
【PTM】Transformer-XL：捕捉超长上下文依赖
阿泽的学习笔记
05-20 654
今天学习的是谷歌大脑的同学和 CMU 的同学于 2019 年联合出品的论文《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》，目前被引次数超 200 次。 这篇论文提出的 Transformer-XL 主要是针对 Transformer 在解决长依赖问题中受到固定长度上下文的限制，如 Bert 采用的 Transformer 最大上下文为 512。 Transformer-XL 采用了一种 segment-lev
论文笔记 — Transformer-XL [更优秀的长文本编码器]
IndexFziQ CSDN
06-26 2195
From Google Brain and CMU. Authors: Zihang Dai∗, Zhilin Yang∗, Yiming Yang, Jaime Carbonell, Quoc V. Le, Ruslan Salakhutdinov Title: TransformerXL: Attentive Language Models Beyond a Fixed-Length Cont...
学习笔记：深度学习（7）——从Encoder-Decoder到Transformer
Morganfs的博客
04-24 2360
从Encoder-Decoder到Seq2Seq，从Attention、Self Attention到Transformer。
论文笔记：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
qq_44015059的博客
08-23 571
前言 论文链接：https://www.aclweb.org/anthology/P19-1285/ github：https://github.com/kimiyoung/transformer-xl 目前在NLP领域中，处理语言建模问题有两种最先进的架构：RNN和Transformer。RNN按照序列顺序逐个学习输入的单词或字符之间的关系，而Transformer则接收一整段序列，然后使用self-attention机制来学习它们之间的依赖关系。这两种架构目前来看都取得了令人瞩目的成就，但它们都局限在捕
Transformer-XL模型：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
ACM_hades的博客
04-15 1385
参考链接 参考论文:https://arxiv.org/abs/1901.02860 参考博客:https://ai.googleblog.com/2019/01/transformer-xl-unleashing-potential 摘要 Transformer网络具有学习更长期依赖性的潜力，但这种潜力往往会受到上下文长度固定 的限制。因此，我们提出了一种叫做 Transformer-XL 的...
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context_学习笔记
敷衍zgf的博客
01-13 895
对Transformer-XL模型的理解
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context（论文解读）
最新发布
weixin_64017116的博客
09-22 161
but also片段递归机制（segment-level recurrence mechanism ）相对位置编码机制（relative positional encoding）提升了序列的长期依赖能力（capturing longer-termdependency）解决了上下文碎片问题（context segmentation problem）提升模型的预测速度和准确率。
论文速览【LLM】—— 【Transformer-XL】Attentive Language Models Beyond a Fixed-Length Context
佚失的诗篇
06-26 638
标题：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context；发表：ACL 2019；领域：Transformer (decoder) 改进
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值