transformer论文及其变种

已于 2022-12-19 14:26:28 修改
阅读量1.4k 收藏 12
点赞数
文章标签： transformer 深度学习 自然语言处理
于 2022-11-21 22:36:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40168949/article/details/127968695
版权

文章目录


transformer的九种变种

transformer

在这里插入图片描述

  • motivation：序列映射的任务，常规是基于encoder-attention-decoder来完成的，基于CNN-RNN的结构。本文使用attention，用于机器翻译的任务。

模型细节

slf-attn & multi-head attn

在这里插入图片描述

  • encoder：对于所有K，Q和V是来自于同样的地方；因此可以attend到encoder输入的所有位置；
  • decoder：Q来自于previous decoder layer，K和V来自于encoder output。为了保证自回归的有效性，需要在attention中mask掉无效的连接。
    在这里插入图片描述
    d k \sqrt[]{d_k} dk​ ​是为了防止梯度爆炸
    在这里插入图片描述
  • 不同的head关注不同的细节；同时，拆分维度，降低计算复杂度；

abs position

在这里插入图片描述

why slf-attn

在这里插入图片描述

  • 常规来说，n<<d (输入序列长度远小于隐层特征维度）。而且，可以通过限制attention span 约束计算量。
  • long-range dependence model
  • 并行化

ASR相关工作

transducer

conformer

abstract

  • interspeech2020, google
  • motivation:在语音识别领域，将transformer global-model的能力和CNN location-model的能力结合。
  • 常规CNN只能通过多层堆叠增大感知野；

model arch

transformer-XL

transformer-XL论文解读

  • motivation
  • (1) tranformer中，将长句子切分成定长的序列输入，在切分的过程中，打破了句子的前后依赖关系；因此transformer-XL将上一句计算的隐状态保留下来，和下一句计算初始化状态拼接；---- 保留了前后依赖性；
  • （2）abs-position修改为relative position

在这里插入图片描述

  • 结果：比RNN的长时建模能力提升80%，比transformer的长时建模能力提升450%

Informer

  • 2021AAAI best paper,论文讲解
  • ProbSparse Self-Attention，可以在时间复杂度和内存使用方面达到，并具在序列的依赖对齐上有相当的性能。
  • Self-Attention蒸馏将级联层的输入减半，突出了主要注意力，并可以有效处理超长输入序列。
  • 生成型Decoder一次性预测一系列的序列，而不是一步一步预测，这彻底的提高了长序列推理速度。

细节

在这里插入图片描述

probSparse slf-attn

在这里插入图片描述

  • 首先发现，只有少部分数据对attn的贡献比较大--------attn的长尾问题；
  • attn的计算公式可知，Q*K是找到比较重要的（q,k)pair。-----处于attn的头部。
    在这里插入图片描述
  • 计算p分布和高斯分布的KL距离，距离越近，说明q越不重要。
  • Q是稀疏矩阵，依赖对长尾问题的理解，简化了attention 计算的复杂度。

Longformer

  • 解决slf-attn随着序列长度的增加，计算量爆炸的问题（限制了更长序列的建模）
  • 论文解读

细节

在这里插入图片描述

（b） slide window attention：每个token的attention span=w，前后各看 1 / 2 w 1/2w 1/2w个token。一个拥有𝑚层的transformer，它在最上层的感受野尺寸为 m ∗ w m*w m∗w。

（c） dilated sliding window：在进行Self-Attention的两个相邻token之间会存在大小为𝑑的间隙，这样序列中的每个token的感受野范围可扩展到𝑑×𝑤。在第𝑚层，感受野的范围将是𝑚×𝑑×𝑤。
（d） global+sliding window：针对特定的任务进一步的完善。设定某些位置的token能够看见全部的token，同时其他的所有token也能看见这些位置的token，相当于是将这些位置的token”暴露”在最外面。例如对于分类任务，这个带有全局视角的token是”CLS”。Global+Sliding Window这里涉及到两种Attention，Longformer中分别将这两种Attention映射到了两个独立的空间。两组对应的Q/K/V计算。

在这里插入图片描述

GPT-generative pre-train

  • motivation：充分利用大量未标注的原始文本数据，分为两个阶段：（1）pre-training阶段：使用无标签的数据，输入n个词，预测下一个词。因为是word-level的，因此GPT学习了一个语言模型；（2）fine-tuning阶段，针对具体的任务和少量的标注数据，对参数进行微调。
  • 优点：模型更强大，普适性更强（针对所有任务微调相同的基本模型）；
  • 缺点：建立的语言模型是单向的

模型结构

在这里插入图片描述

  • 去掉encoder，只有decoder的transformer，而且decoder中没有multi-head attn，只有masked multi-head attn。——在attention矩阵中，对预测词及之后的词进行mask。表现为一个上三角都是-inf的mask矩阵。

下游任务：fine-tuning

在这里插入图片描述

swin transformer

  • 在图像领域，解决transformer计算量过大的问题
林林宋
关注
  • 0
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【深度学习】Swin Transformer: Hierarchical Vision Transformer using Shifted Windows，论文
q742971636的博客
08-02 153
本文介绍了一种名为Swin Transformer的新型视觉Transformer，它可以作为计算机视觉的通用骨干。将Transformer从语言领域应用到视觉领域面临着挑战，因为两个领域之间存在差异，比如视觉要素的尺度变化很大，图像中的像素分辨率与文本中的单词相比较高。为了解决这些差异，我们提出了一种层次化Transformer，其表示是使用移位窗口计算的。移位窗口方案通过将自注意力计算限制在非重叠的局部窗口内，提高了效率，同时也允许窗口间的连接。
李沐精读论文：transformer 《Attention Is All You Need》 by Google
iwill323的博客
12-17 2341
李沐读论文：transformer 《Attention Is All You Need》 by Google
14篇最新Transformer热门论文！涵盖注意力机制、架构改进、适用性扩展等
2401_82426425的博客
01-31 5171
实验表明，M2在非因果BERT风格语言建模、ViT风格图像分类和因果GPT风格语言建模中表现出色，与BERT-base和BERT-large在GLUE质量上相匹配，参数最多减少27%，在ImageNet上精度提高，同时在The PILE的预训练困惑中以360M参数匹配GPT风格的Transformers，表明了在缺乏注意力或MLP的情况下匹配Transformer质量的可能性。通过分析线性注意力的局限性，研究人员引入了映射函数和秩恢复模块，增强了自我注意力的表现力，同时保持较低的计算复杂度。
Longformer: The Long-Document Transformer（2020-4-10）
weixin_49346755的博客
10-08 372
目前基于Transformer的预训练模型在各项NLP任务纷纷取得更好的效果，这些成功的部分原因在于Self-Attention机制，它运行模型能够快速便捷地从整个文本序列中捕获重要信息。然而传统的Self-Attention机制的时空复杂度与文本的序列长度呈平方的关系，这在很大程度上限制了模型的输入不能太长，因此需要将过长的文档进行截断传入模型进行处理，例如BERT中能够接受的最大序列长度为512。
transformer论文讲解
qq_56618414的博客
07-18 941
循环层是要我们知道，如果你的序列是长的 N 话，它就一个一个做运算，每个里面它的主要的计算就是一个 N 乘以 N 的矩阵，一个你就是一个 dance layer 然后再乘以你一个长为 D 的一个输入，所以它是一个 N 平方，然后要做 N 次，所以是 N 乘 D 平方。2 种常见的注意力机制：加性的注意力机制（它可以处理你的 query 和 key 不等长的情况，点积 dot-product 的注意力机制 （本文采用 scaled，➗ sqrt(dk) ），所以你可以看到它的名字它叫做 scale 的。
Transformer论文--Attention Is All You Need
garbage回收中心
09-06 981
目前主要的序列传导模型基于复杂的循环或卷积神经网络，包括encoder and a decoder。作者提出了仅依赖于注意力机制的的一种新的简单网络结构（Transformer），在机器翻译任务中与其他模型相比，该模型展现了更高的并行计算量同时大大减少了训练时间。并在WMT 2014 English-to-German比赛中BLEU值达到了28.4，比其他模型（包括集成模型）高出2个BLEU值。在WMT 2014 English-to-French比赛中达到了单一模型的最高记录（BLEU为41）。
【SCIR笔记】Transformer及其变种
zenRRan的博客
06-26 1382
作者：哈工大SCIR 蒋润宇简介近年来NLP领域最让人印象深刻的成果，无疑是以谷歌提出的Bert为代表的预训练模型了。它们不断地刷新记录（无论是任务指标上，还是算力需求上），在很多任务上...
Transformer论文解读一（Transformer）
蓝鲸鱼的博客
11-01 7791
最近Transformer在CV领域很火，Transformer是2017年Google发表的Attention Is All Y ou Need，主要是针对自然语言处理领域提出的。本系列文章介绍Transformer及其在各种领域引申出的应用。 自我注意(Self-attention)，有时也称为内部注意(intra-attention)，是一种将单个序列的不同位置联系起来，以计算该序列的表示的注意机制。Transformer是第一个完全依靠自我注意来计算其输入和输出的表示，而不使用RNN的模型。 论文指
Bert及其变种和应用场景
04-09 2056
RoBERTa:https://zhuanlan.zhihu.com/p/103205929 使用动态mask FULL-SENTENCES without NSP 更大的bs 更大的byte-level BPE Soft-Masked BERT 修正网络是一个基于BERT的序贯多类标记模型 DistilBERT： 原理：这个的做法就是用蒸馏12层的BERT得到6层的DistilBERT，首先预训练好BERT，然后用训练BERT的大规模预料来蒸馏12层的BE...
Transformer 析构
04-08
在 Transformer 出现之前，递归神经网络（RNNs）及其变种如长短期记忆网络（LSTMs）和门控循环单元（GRUs）是处理序列数据的主要工具。然而，这些模型存在一些固有限制： - **长期依赖性问题**：由于 RNNs 采用顺序...
Transformer engineering.pdf
07-02
未来，随着硬件技术的进步和算法的不断创新，Transformer模型及其变种有望在更多领域发挥更大的作用。 综上所述，《Transformer Engineering.pdf》这本书可能详细介绍了Transformer模型的设计原理、技术实现以及在...
【论文解析】Transformer浅析（Attention is All You Need）
guofei_fly的博客
04-18 2122
Attention is All You Need作为NLPer必须反复阅读和深刻理解的经典论文，提出了Transformer这样一个效果优异的特征抽取器，被广泛应用于后续的预训练模型。 网络上关于Transformer的优秀解读很多，本文仅记录了本人的一些思考和理解。 一、模型架构解读 Transformer是基于经典的机器翻译Seq2Seq框架提出的，区别在于Encoder和Decoder中大...
Transformer论文粗读[Neurips 2017]最佳论文
To be a better man
04-29 1454
1.Attention first show is in Seq2Seq architecture[Year2015] 2.Self-Attention first show is in Lstm network[Year2016] Attention is all you need 首先咱们回归一下Attention for Rnn（attention in Seq2Seq） 首先，Seq2Seq这个结构由Encoder和Decoder构成，Encoder有m个输入向量(x1,x2,...
【论文精读】Transformer
weixin_44934783的博客
02-07 1444
transformer
Transformer论文解读
xian0710830114的专栏
06-11 1221
Transformer有多牛逼不用多说，时隔7年我们再来看看论文原文，看看这篇深刻改变世界的文章都说了什么。当然逐字逐句解读已经意义不大，我们只列考点。
Transformer(二)--论文理解：transformer 结构详解
热门推荐
12-10 1万+
文章目录1. transformer的基本结构2. 模块详解2.1 模块1：Positional Embedding(以下简称PE模块）：2.2 模块2：Multi-Head Attention(多头注意力机制)2.2.1 Scaled Dot-Product Attention（缩放的点积注意力机制）2.2.2 Multi_Head（多头机制）2.3 模块3：ADD2.4 模块4：Layer Normalization2.5 模块5：Feed Forward NetWork2.6 模块6：Masked M
Transformer及其变种
qq_35627757的博客
10-08 422
Transformer DETR（2D） UP-DETR（2D） VIT GroupFree3D（3D）
Transformer论文
LQX2018212700的博客
09-22 102
Attention is All You Need》论文精读，此论文提出了transformer模型《Attention is All You Need》论文精读，此论文提出了transformer模型论文地址：https://arxiv.org/abs/1706.03762知乎：https://zhuanlan.zhihu.com/p/338817680。
transformer的各种变体
weixin_36378508的博客
03-16 4382
https://mp.weixin.qq.com/s/iuuRS_M3cYm0DXFkZGjjBg 1 Transformer-XL 论文标题： Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 收录会议： ACL 2019 论文链接： https://arxiv.org/abs/1901.02860 代码链接： https://github.com/kimiyoung/transformer-xl 上.
Transformer有哪些变种模型？
最新发布
08-15
Transformer家族包括多种变体模型，其中一些重要的变种有： 1. **BERT (Bidirectional Encoder Representations from Transformers)**[^4] - 提供了预训练的语言理解能力，通过双向上下文信息来改进编码。 2. **GPT (Generative Pre-trained Transformer)**[^5] - 前向自回归模型，用于生成文本，特别是GPT-3系列。 3. **XLNet**[^6] - 结合了自注意力和掩码语言模型，解决了Transformer中输入顺序依赖的问题。 4. **T5 (Text-to-Text Transfer Transformer)**[^7] - 一个通用的序列到序列模型，能够执行各种自然语言任务。 5. **DistilBERT**[^8] - 小型化版本的BERT，保留了大部分性能但参数更少，适合资源有限的场景。 6. **RoBERTa (Robustly Optimized BERT Pretraining Approach)**[^9] - 提出了参数共享和跨层参数优化，进一步减少了模型大小。 这些模型都在基础的Transformer架构上进行了不同层次的创新和优化，以适应特定领域的应用需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值