Transformer-XL详解

最新推荐文章于 2024-08-09 07:36:49 发布
最新推荐文章于 2024-08-09 07:36:49 发布
阅读量1.6k 收藏 3
点赞数 1
分类专栏： 笔记 文章标签： nlp 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51302564/article/details/117882327
版权

 

提出原因

为解决self.attention的n方复杂度，以及超长文本获取信息冗余问题，限制输入文本的长度，一般的Transformer在处理超长文本时，训练时segment分开，一个一个训练，预测时，segment步长为1进行移动，效率太低，故改进出了Transformer-XL

为啥叫Transformer-XL

XL—>尺码中的XL，大，这个Transformer机制可以关注长的文本内容。

创新

Transformer-XL结构图：

image-20210607094402664Transformer-XL架构在vanilla Transformer的基础上引入了两点创新：

  1. 循环机制（Recurrence Mechanism）

  2. 相对位置编码（Relative Positional Encoding）。

以克服Vanilla Transformer的缺点。与Vanilla Transformer相比，Transformer-XL的另一个优势是它可以被用于单词级和字符级的语言建模

PS：Vanilla Transformer是Transformer和Transformer-XL中间过度的一个算法

Vanilla Transformer的三个缺点：

  • 上下文长度受限：字符之间的最大依赖距离受输入长度的限制，模型看不到出现在几个句子之前的单词。

  • 上下文碎片：对于长度超过512个字符的文本，都是从头开始单独训练的。段与段之间没有上下文依赖性，会让训练效率低下，也会影响模型的性能。

  • 推理速度慢：在测试阶段，每次预测下一个单词，都需要重新构建一遍上下文，并从头开始计算，这样的计算速度非常慢。

    vanilla Transformer结构图：

vanilla Transformer示意图

 

循环机制（Recurrence Mechanism）

 

由上图vanilla Transformer结构图（a）也可以知道，Vanilla Transformer对于长度超过512个字符的文本，都是从头开始单独训练的段与段之间没有上下文依赖性。

因此Transformer-XL引入了段间循环机制来利用前段信息，实现长期依赖

image-20210607100511833

在训练的时候，对于后面一个隐藏层，他都会得到两个输入（个人感觉思想类似于LSTM中后一个神经元就是收到前面一个神经元的影响）

第一个输入：该段的前面节点的输出，与Vanilla Transformer相同（上图的灰色线）。

第二个输入：前面段的节点的输出（上图的绿色线），可以使模型创建长期依赖关系。这部分输出市通过cache的机制传导过来，所以不会参与梯度的计算。原则上只要GPU内存允许，该方法可以利用前面更多段的信息。

预测阶段：

​的预测我们可以拿之前预测好的[x1,x2,x3...x10]的结果拿过来，直接预测。同理在预测​的时候可以通过套娃的方式从预测好的[x1,x2,x3...x10,x11]得到结果。

相对位置编码

Transformer的位置编码

我们先来简单回顾一下Transformer的位置编码，详情请移步这里[2]。

Transformer采用了正余弦编码

image-20210610164909915

位置指的是一个词向量里数据的位置，pos指的才是单词在语句中的位置。​是维数（按我的理解就是一个词向量的长度）。

Transformer-XL 相对位置编码

Transformer位置编码在Transformer-XL上的局限性

在Transformer中，一个重要的地方在于其考虑了序列的位置信息。在分段的情况下，如果仅仅对于每个段仍直接使用Transformer中的位置编码，会导致每个不同段在同一个位置上的表示使用相同的位置编码，就会出现问题。

比如，第i-1与第i-2的第一个字都相同，那么他们的位置编码将为一样，但是显然他们对第i段的建模重要性不同。因此，需要对这种位置进行区分。

相对位置编码

我们知道，Transformer中有查询向量（​），关键词向量(​)的处理，而处理的对象就是添加了位置编码（​）的Embedding（​）：

在这里插入图片描述

  • 其中的下标i与j分别代表词i与词j

    将上式展开，我们便可以得到

在这里插入图片描述

在Transformer-XL中，对上述的attention计算方式进行了变换，转为相对位置的计算，而且不仅仅在第一层这么计算，在每一层都是这样计算。

img

 

在(b)和(d)这两项中，将所有绝对位置向量​,都转为相对位置向量​，与Transformer一样，这是一个固定的编码向量，不需要学习。

在(c)这一项中，将查询的​ ​ 向量转为一个需要学习的参数向量u，因为在考虑相对位置的时候，不需要查询的绝对位置i，因此对于任意的i，都可以采用同样的向量。同理，在(d)这一项中，也将查询的​ ​ ,向量转为另一个需要学习的参数向量v。

将键的权重变换矩阵​转为​和​，分别作为content-based key vectors和location-based key vectors。

可以将Transformer-XL中的attention的计算分为如下四个部分：

  1. 基于内容的“寻址”，即没有添加原始位置编码的原始分数。

  2. 基于内容的位置偏置，即相对于当前内容的位置偏差。

  3. 全局的内容偏置，用于衡量key的重要性。

  4. 全局的位置偏置，根据query和key之间的距离调整重要性

 

4. 总结

4.1 优点

  1. 在几种不同的数据集（大/小，字符级别/单词级别等）均实现了最先进的语言建模结果。

  2. 结合了深度学习的两个重要概念——循环机制和注意力机制，允许模型学习长期依赖性，且可能可以扩展到需要该能力的其他深度学习领域，例如音频分析（如每秒16k样本的语音数据）等。

  3. 在inference阶段非常快，比之前最先进的利用Transformer模型进行语言建模的方法快300～1800倍。

4.2 不足

  1. 尚未在具体的NLP任务如情感分析、QA等上应用。 没有给出与其他的基于Transformer的模型，如BERT等，对比有何优势。

  2. 训练模型需要用到大量的TPU资源。

 

 

参考

[1]  https://www.cnblogs.com/huangyc/p/11445150.html 

[2]  https://asthestarsfalll.icu/2021/06/04/transformer/index.html 

[3]  https://www.cnblogs.com/shona/p/12041055.html 

[4]  https://blog.csdn.net/qq_22795223/article/details/106130388?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162331317816780366570138%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=162331317816780366570138&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~baidu_landing_v2~default-1-106130388.first_rank_v2_pc_rank_v29&utm_term=transformer-XL%E5%9B%BE%E8%A7%A3&spm=1018.2226.3001.4187 

[5] Transformer-XL解读（论文 + PyTorch源码）_Magical_Bubble的博客-CSDN博客

Fly-Pluche
关注
专栏目录
Transformer-XL
qq_37008037的博客
12-15 364
https://blog.csdn.net/magical_bubble/article/details/89060213 要正确理解一篇文章，有时需要参考出现在几千个单词后面的一个单词或一个句子。 这是一个长期依赖性(long-range dependence)的例子，这是序列数据中常见的现象，处理许多现实世界的任务都必须理解这种依赖。 虽然人类很自然地就会这样做，但是用神经网络建模长期依赖关系仍然很具挑战性。基于Gating的RNN和梯度裁剪(gradient clipping)技术提高了对长期依
transformer详解：transformer/ universal transformer/ transformer-XL
彼得.攀的blog
10-08 1853
首发自彼得攀的小站 特别鸣谢刘陆琛@Mayouji在本文写作过程中的帮助 Attention机制在NLP领域的应用最早可以追朔到2014年，Bengio团队将Attention引入NMT(神经机器翻译)任务 [1]。之后更是在深度学习的各个领域得到了广泛应用：如CV中用于捕捉图像上的感受野；NLP中定位关键token/feature. 作为某种程度上可以称为当下NLP领域最强的特征抽取器的tran...
【深度学习】transfromer-XL论文详解
Dong_ZH的博客
03-16 777
问题1Transformer-XL这篇论文为什么没有被ICLR接受？不足在哪里？主要原因是Transformer-XL并没有与当前一些基于Transformer的预训练模型，如BERT等进行对比，并没有在具体的下游任务，如分类、QA等应用进行实验。论文里只是简单提了Transformer-XL在文本生成（由于Transformer-XL是语言模型，所以应用于文本生成很自然）、无监督特征学习等都有前景，并没有给出在某些GLUE的表现，因此论文略显单薄。4-2 问题2。
transformer-xl
05-03
Transformer-XL：超出固定长度上下文的注意力语言模型 该存储库包含本文的PyTorch和TensorFlow中的代码 戴子行*，杨治林*，杨一鸣，Jaime Carbonell，Quoc V.Le，Ruslan Salakhutdinov（*：平等贡献） 预印本2018 TensorFlow 源代码位于tf/文件夹中，支持（1）单节点多gpu培训和（2）多主机TPU培训。 除了源代码外，我们还提供了经过预训练的“ TensorFlow”模型，该模型具有本文所报告的最新（SoTA）性能。 有关详细信息，请参考tf/README.md 。 火炬 源代码位于pytorch/文件夹中，通过模块nn.DataParallel支持单节点多gpu训练。 请参阅pytorch/README.md了解详细信息。 结果 Transformer-XL在多语言建模基准上获得了最新的最新结果。
Transformer-XL 模型使用教程
最新发布
gitblog_00312的博客
08-09 368
Transformer-XL 模型使用教程 transformer-xl项目地址:https://gitcode.com/gh_mirrors/tr/transformer-xl 1. 项目目录结构及介绍 Transformer-XL 是一个用于长序列语言建模的深度学习模型，其源代码托管在 GitHub 上。以下是该项目的主要目录结构： transformer-xl/ ├── data ...
transformer XL
weixin_43758551的博客
08-15 828
https://new.qq.com/omn/20190130/20190130A0IPM1.html https://blog.csdn.net/candy134834/article/details/86693757 https://blog.csdn.net/Magical_Bubble/article/details/89060213 模型特点 在 AI-Rfou 等人提出的vanil...
详解Transformer-XL
qq_15821487的博客
08-27 412
序列模型捕获数据长期依赖的能力在任何NLP任务中都是至关重要的，LSTM通过引进门机制将RNN的长期依赖的捕获能力提升到200个左右，Transformer的提出则进一步提升了获长期依赖的能力，但是Transformer的捕获长期依赖的能力是无限长的吗？如果有一个需要捕获几千个时间片的能力的模型才能完成的任务，Transformer能够胜任吗？答案从目前Transformer的设计来看，它还是做不到。 这篇文章介绍的Transformer-XL（extra long）则是为了进一步提升Transformer
Transformer-XL全解读
u012526436的博客
10-21 6994
Motivation Transformer最大的问题在于没有办法建模超过最大长度的序列，例如base bert其支持的序列最大长度是512，超过了该长度的序列需要进行截取，再把截取后的片段分别用bert进行编码，该方法虽然可行，但是存在上下文碎片化的问题，也就是说每个片段是单独建模的，互相之间没有上下文信息，并且，不同的片段位置编码都是从0开始，明显是有问题的。 可见Transformer对于较长的序列建模能力有限，如何解决该弊端就该Transformer-XL大显身手了。 Transformer-XL
transformer-xl 代码详解
04-11
b'transformer-xl'是一个模型框架的名称，其中'xl'代表extra large，意为是一个规模较大的模型。该模型框架是基于transformer模型设计的，通过使用更长的上下文序列来解决长文本处理的问题，同时还加入了核心语言...
Transformer-XL 论文
01-28
这是google最新推出的语言模型，是对《Attention is what you need》中的Transformer的升级版，它可以用在语言模型、对话系统等任务中。
Chinese-Transformer-XL
03-12
中文-变形金刚-XL 正在施工:construction: 本项目提供了智源研究院“文汇”预训练模型中国变压器-XL的预训练和文本生成代码。 数据 本模型使用了智源研究院发布的中文预训练语料 。具体地，我们使用了WuDaoCorpus中来自百度百科+搜狗百科（133G），知乎（131G），百度知道（38G）的语料，一共303GB数据。 模型 本模型使用了的训练目标，同时使用能够更好地处理长序列建模的替代了GPT中的Transformer。模型的结构与GPT-3 2.7B（32层，隐示尺寸2560 ，，每层32个关注头）的基本相同，因为Transformer-XL的结构尺寸，模型参数增加到了29亿。 结果 为了验证模型的生成能力，我们在中文的开放域长文问答上进行的评价。我们从上随机选择了100个不同领域的，没有训练语料中的问题。对每个问题，由人类测试成员对一个高层次数回答，3个模型生成的回答和3个生成的回答在
【Transformer-XL中的长距离依赖问题与解决方案研究】： 研究Transformer-XL中的长距离依赖问题与解决方案
![【Transformer-XL中的长距离依赖问题与解决方案研究】： 研究Transformer-XL中的长距离依赖问题与解决方案]... Transformer-XL简介与长距离依赖问题概述 Tra
Transformer XL源码实现
chu227的博客
11-14 368
1，人工智能中最重要的公式之一MLE数学本质剖析及代码实战 2，Language Model的数学原理、Chain Rule剖析及Sparsity问题 3，Markov Assumption：first order、second order、third order剖析 4，Language Model：unigram及其问题剖析、bigram及依赖顺序、n-gram 5，使用Unigram训练一个Language Model剖析及实践 6，使用Bigram训练一个Language Model剖析及
Transformer-XL模型简单介绍
云隐雾匿的博客
06-22 2006
以自注意力机制为核心的 Transformer 模型是各种预训练语言模型中的主要组成部分。自注意力机制能够构建序列中各个元素之间的上下文关联程度，挖掘深层次的语义信息。然而，自注意力机制的时空复杂度为，即时间和空间消耗会随着输入序列的长度呈平方级增长。这种问题的存在使得预训练语言模型处理长文本的效率较低。传统处理长文本的方法一般是切分输入文本，其中每份的大小设置为预训练语言模型能够单次处理的最大长度（如512）。
Transformer-XL 模型详解
步入人工智能
05-27 1380
本内容主要介绍 Transformer-XL 模型 架构。
Transformer-XL：打破序列长度限制的Transformer模型
Chaos的博客
03-11 1546
在自然语言处理领域中，序列模型是至关重要的一类模型，但是它们受到了序列长度的限制。在传统的循环神经网络（RNN）模型中，由于梯度消失或梯度爆炸的问题，只能处理较短的序列。为了克服这个问题，Attention机制被引入到了序列模型中，其中Transformer是最著名的例子。 但是，即使是Transformer，它也有一个长度限制。由于输入和输出是一次性给出的，因此Transformer不能处理超过固定长度的序列。为了克服这个问题，Dai等人提出了Transformer-XL，它能够处理超过固定长度的序列。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值