transformer详解（自用）

最新推荐文章于 2024-02-22 17:30:34 发布
最新推荐文章于 2024-02-22 17:30:34 发布
阅读量492 收藏 2
点赞数 1
分类专栏： 深度学习 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45880764/article/details/131877333
版权

Transformer

非常棒的解释
微信公众号解释也不错

Transformer带来的其他优点

  • 并行计算, 提高训练速度
    Transformer用attention代替了原本的RNN; 而RNN在训练的时候, 当前step的计算要依赖于上一个step的hidden state的, 也就是说这是一个sequential procedure, 我每次计算都要等之前的计算完成才能展开. 而Transformer不用RNN, 所有的计算都可以并行进行, 从而提高的训练的速度.

  • 建立直接的长距离依赖
    原本的RNN里, 如果第一帧要和第十帧建立依赖, 那么第一帧的数据要依次经过第二三四五…九帧传给第十帧, 进而产生二者的计算. 而在这个传递的过程中, 可能第一帧的数据已经产生了biased, 因此这个交互的速度和准确性都没有保障. 而在Transformer中, 由于有self attention的存在, 任意两帧之间都有直接的交互, 从而建立了直接的依赖, 无论二者距离多远.

Transformer没有解决的问题

上面说到, Transformer可以使模型进行并行训练, 但是仍然是一个autoregressive的模型; 也就是说, 任意一帧的输出都是要依赖于它之前的所有输出的. 这就使得inference的过程仍然是一个sequential procedure. 这也是当前绝大多数seq2seq模型的问题, 不论是ConvS2S等等. 因此如何打破这个特点, 建立Non autoregressive model, 并且取得和autoregressive model接近的性能是一个重要的问题.

模型概览

在这里插入图片描述
模型大致分为Encoder(编码器)和Decoder(解码器)两个部分

第一个子层是一个Multi-Head Attention(多头的自注意机制)，第二个子层是一个简单的Feed Forward(全连接前馈网络)。两个子层都添加了一个残差连接+layer normalization的操作

模型的解码器同样是堆叠了N个相同的层，不过和编码器中每层的结构稍有不同。对于解码器的每一层，除了编码器中的两个子层Multi-Head Attention和Feed Forward，解码器还包含一个子层Masked Multi-Head Attention，如图中所示每个子层同样也用了residual以及layer normalization

模型的输入由Input Embedding和Positional Encoding(位置编码)两部分组合而成，模型的输出由Decoder的输出简单的经过softmax得到

模型输入

输入部分包含两个模块，Embedding 和 Positional Encoding

最终模型的输入是若干个时间步对应的embedding，每一个时间步对应一个embedding，可以理解为是当前时间步的一个综合的特征信息，即包含了本身的语义信息，又包含了当前时间步在整个句子中的位置信息

Embedding

Embedding层的作用是将某种格式的输入数据，例如文本，转变为模型可以处理的向量表示，来描述原始数据所包含的信息

位置编码

Positional Encodding位置编码的作用是为模型提供当前时间步的前后出现顺序的信息。

因为Transformer不像RNN那样的循环结构有前后不同时间步输入间天然的先后顺序，所有的时间步是同时输入，并行推理的，因此在时间步的特征中融合进位置编码的信息是合理的

固定的位置编码。具体地，使用不同频率的sin和cos函数来进行位置编码（任意两个相距k个时间步的位置编码向量的内积都是相同的，这就相当于蕴含了两个时间步之间相对位置关系的信息。此外，每个时间步的位置编码又是唯一的，这两个很好的性质使得上面的公式作为位置编码是有理论保障的）
在这里插入图片描述

分类

位置编码是一种用于将输入序列中的每个位置编码为向量的技术。以下是一些常用的位置编码方式：

  1. 绝对位置编码（Absolute Position Encoding）：将每个位置编码为一个唯一的向量，通常使用正弦和余弦函数来生成编码。

  2. 相对位置编码（Relative Position Encoding）：将每个位置与其他位置之间的相对距离编码为向量。相对位置编码可以更好地捕捉输入序列中的位置关系。

  3. 基于注意力机制的位置编码（Attention-based Position Encoding）：使用注意力机制来学习位置编码。这种方法允许模型根据输入序列的内容和上下文来动态地调整位置编码。

  4. 卷积位置编码（Convolutional Position Encoding）：使用卷积神经网络来学习位置编码。这种方法可以将位置编码作为卷积操作的一部分来学习。

  5. 双向位置编码（Bidirectional Position Encoding）：将每个位置编码为两个向量，一个用于正向顺序，一个用于逆向顺序。这种方法可以更好地捕捉输入序列的双向信息。

这些位置编码方式可以根据具体的任务和模型结构选择使用。不同的位置编码方式可能适用于不同的应用场景和数据特征。

Encoder和Decoder都包含输入模块

编码器和解码器两个部分都包含输入，且两部分的输入的结构是相同的，只是推理时的用法不同，编码器只推理一次，而解码器是类似RNN那样循环推理，不断生成预测结果的

在这里插入图片描述
在这里插入图片描述

encoder

每个编码器层由两个子层连接结构组成：

第一个子层包括一个多头自注意力层和规范化层以及一个残差连接；

第二个子层包括一个前馈全连接层和规范化层以及一个残差连接；

在这里插入图片描述

attention

当前时间步的注意力计算结果，是一个组系数 * 每个时间步的特征向量value的累加，
而这个系数，通过当前时间步的query和其他时间步对应的key做内积得到，这个过程相当于用自己的query对别的时间步的key做查询，判断相似度，决定以多大的比例将对应时间步的信息继承过来
在这里插入图片描述
在这里插入图片描述

多头注意力

多个注意力模块组合在一起

这种结构设计能让每个注意力机制去优化每个词汇的不同特征部分，从而均衡同一种注意力机制可能产生的偏差，让词义拥有来自更多元表达

  • 举个更形象的例子，bank是银行的意思，如果只有一个注意力模块，那么它大概率会学习去关注类似money、loan贷款这样的词。如果我们使用多个多头机制，那么不同的头就会去关注不同的语义，比如bank还有一种含义是河岸，那么可能有一个头就会去关注类似river这样的词汇，这时多头注意力的价值就体现出来了

在这里插入图片描述

前馈全连接层

encoder和decoder中的每一层都包含了一个全连接前向网络，对每个position的向量分别进行相同的操作，包括两个线性变换和一个ReLU激活输出
在这里插入图片描述
其实就是简单的由两个前向全连接层组成，核心在于**，Attention模块每个时间步的输出都整合了所有时间步的信息**，而Feed Forward Layer每个时间步只是对自己的特征的一个进一步整合，与其他时间步无关

layer normalization

随着网络层数的增加，通过多层的计算后输出可能开始出现过大或过小的情况，这样可能会导致学习过程出现异常，模型可能收敛非常慢。

因此都会在一定层后接规范化层进行数值的规范化，使其特征数值在合理范围内

  • 1，能够加快训练的速度。
  • 2.提高训练的稳定性

残差

深度神经网络会发生退化

假如某个神经网络的最优网络层数是18层，但是我们在设计的时候并不知道到底多少层是最优解，本着层数越深越好的理念，我们设计了32层，那么32层神经网络中有14层其实是多余地，我们要想达到18层神经网络的最优效果，必须保证这多出来的14层网络必须进行恒等映射，恒等映射的意思就是说，输入什么，输出就是什么，可以理解成F(x)=x这样的函数，因为只有进行了这样的恒等映射咱们才能保证这多出来的14层神经网络不会影响我们最优的效果。

但现实是神经网络的参数都是训练出来地，要想保证训练出来地参数能够很精确的完成F(x)=x的恒等映射其实是很困难地。多余的层数较少还好，对效果不会有很大影响，但多余的层数一多，可能结果就不是很理想了

在这里插入图片描述
X是这一层残差块的输入，也称作F(X)为残差，X为输入值，F(X)是经过第一层线性变化并激活后的输出，

该图表示在残差网络中，第二层进行线性变化之后激活之前，F(X)加入了这一层输入值X，然后再进行激活后输出。

在第二层输出值激活前加入X，这条路径称作shortcut连接

h(X)=F(X)+X，我们要让h(X)=X，那么是不是相当于只需要让F(X)=0就可以了
神经网络通过训练变成0是比变成X容易很多地

decoder

解码器层

每个解码器层由三个子层连接结构组成
第一个子层连接结构包括一个带掩码的多头自注意力子层和规范化层以及一个残差连接，
第二个子层连接结构包括一个多头注意力子层和规范化层以及一个残差连接，
第三个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接
在这里插入图片描述

mask

Look-head mask」 是为了使得 decoder 不能看见未来的信息。也就是对于一个序列，**在 time_step 为 t 的时刻，我们的「解码」输出应该只能依赖于 t 时刻之前的输出，而不能依赖 t 之后的输出。**因此我们需要想一个办法，把 t 之后的信息给隐藏起来

产生一个上三角矩阵，上三角的值全为 「-inf」 。把这个矩阵加在每一个序列上，就可以达到我们的目的
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

掩码及其作用

  • 一个是屏蔽掉无效的padding区域，Encoder中的掩码主要是起到第一个作用，

我们训练需要组batch进行，就以机器翻译任务为例，一个batch中不同样本的输入长度很可能是不一样的，此时我们要设置一个最大句子长度，然后对空白区域进行padding填充，而填充的区域无论在Encoder还是Decoder的计算中都是没有意义的，因此需要用mask进行标识，屏蔽掉对应区域的响应

  • 一个是屏蔽掉来自“未来”的信息。Decoder中的掩码则同时发挥着两种作用

attention的计算流程，它是会综合所有时间步的计算的，那么在解码的时候，就有可能获取到未来的信息，这是不行的。因此，这种情况也需要我们使用mask进行屏蔽

模型输出

线性层的作用：通过对上一步的线性变化得到指定维度的输出，也就是转换维度的作用。转换后的维度对应着输出类别的个数
在这里插入图片描述

常见问题

为什么需要进行Multi-head Attention

相比于RNN/LSTM，有什么优势

如何并行化的

在这里插入图片描述

为什么使用Layer Normalization（LN）而不使用Batch Normalization（BN）呢？

在这里插入图片描述
LN是在同一个样本中不同神经元之间进行归一化，
BN是在同一个batch中不同样本之间的同一位置的神经元之间进行归一化
BN是对于相同的维度进行归一化，

但是咱们NLP中输入的都是词向量，一个300维的词向量，单独去分析它的每一维是没有意义地，在每一维上进行归一化也是适合地，因此这里选用的是LN

为什么说 Transformer 可以代替 seq2seq

seq2seq 最大的问题在于「将 Encoder 端的所有信息压缩到一个固定长度的向量中」，并将其作为 Decoder 端首个隐藏状态的输入，来预测 Decoder 端第一个单词(token)的隐藏状态。在输入序列比较长的时候，这样做显然会损失 Encoder 端的很多信息，而且这样一股脑的把该固定向量送入 Decoder 端，Decoder 端不能够关注到其想要关注的信息

self-attention 模块，让源序列和目标序列首先“自关联”起来，这样的话，源序列和目标序列自身的 embedding 表示所蕴含的信息更加丰富

Transformer 并行计算的能力是远远超过 seq2seq 系列的模型

self-attention 公式中的归一化有什么作用

在这里插入图片描述

甄知一二
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
transformer详解
08-18
transformer详解
Transformer-XL介绍-transformer和BERT固定长度切分存在的问题和解决方案
qq_15821487的博客
08-17 843
Transformer-XL介绍张备做算法的​关注他ShuYini 等 97 人赞同了该文章专栏之前的多篇文章都是关于推荐的，接下来几篇跟NLP相关。Transformer-XL来自于论文《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》，附个论文链接，<https://arxiv.org/abs/1901.02860>。Transformer在本专栏的第一篇已经介绍过了，不了解的同学可以看一下这篇文
Transformer模型详解
最新发布
qq_74722169的博客
02-22 1851
RNN系列的模型，并行计算能力很差。RNN并行计算的问题就出在这里，因为 T 时刻的计算依赖 T-1 时刻的隐层计算结果，而 T-1 时刻的计算依赖 T-2 时刻的隐层计算结果，如此下去就形成了所谓的序列依赖关系。Transformer的特征抽取能力比RNN系列的模型要好。放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较。
Transformer详解（三）：Transformer 结构
sophicchen的专栏
12-04 1万+
Transformer结构是谷歌那篇《Attention is all you need》论文中提到的。论文中提出了transformer这么一种新的结构，将其应用在机器翻译的领域上，取得了很好的效果。本文将分析一下Transformer结构的具体组成部分。 1. 整体结构 Transformer 整体结构宏观上看是一个Encoder-Decoder结构，只不过这个结构完全抛弃了常见的RNN,...
理清Transformer输入输出
m0_55034547的博客
11-27 4868
理清Transformer输入输出
Transformer详解（李沐大神文字版，干货满满！）
qq_42068614的博客
03-09 4226
使用图和文字记录下了李沐大神的Transformer论文逐段精度视频，方便大家后续快速复习。
变形金刚——Transformer入门刨析详解
m0_67505927的博客
03-02 7万+
Transformer详解
Transformer详解
qq_52302919的博客
12-29 5万+
近期Transformer MLP系列模型的出现，增加了CV领域的多样性。但是Transformer这一不同领域的模型对学习者来说需要一个细致的学习过程.下面就是本菜鸟总结学习路线。
Transformer是什么？看完这篇你就醍醐灌顶
fs1341825137的博客
09-15 5万+
前言 由谷歌团队提出的预训练语言模型BERT近年来正在各大自然语言处理任务中屠榜（话说学者们也挺有意思的，模型名都强行凑个芝麻街的人物名，哈哈哈）。 BERT算法的最重要的部分便是Transformer的概念，它本质上是Transformer的编码器部分。 而Transformer是什么呢？transformer是永远的神，自从transformer使用了抛弃rnncnn的纯attention机制之后，各种基于transformer结构的预训练模型都如雨后春笋般雄起，而transformer中最重要就是使用
【超详细】【原理篇&实战篇】一文读懂Transformer
艰难困苦，玉汝于成。
11-02 3万+
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
你真的看懂Transformer了吗？小白学习笔记为你答疑解惑
xuleoo的博客
09-26 4447
Transformer是一种基于注意力机制的序列到序列模型，它在机器翻译任务中表现出色并逐渐成为自然语言处理领域的主流模型。Transformer模型的核心思想是使用自注意力机制（self-attention）来捕捉输入序列中各个位置的上下文关联。自注意力机制允许模型在编码和解码过程中对不同位置的信息进行加权，使得模型能够更好地理解上下文，并将重要的信息加权汇聚起来。通过多层的自注意力机制和前馈神经网络，Transformer模型能够学习到输入序列的表示，并生成与任务相关的输出。
transformer模型详解
02-24
综合分析了现有的主流的nlp翻译模型的即基于CNN的可并行对其文本翻译和基于RNN的LSTM门控长短期记忆时序翻译模型，总结了两个模型的优缺点并在此基础上提出了基于自注意力机制的翻译模型transformer，transformer...
Transformer详解.pptx
06-15
本课件是对论文 Attention is all you need 的导读与NLP领域经典模型 Transformer 的详解，通过介绍传统Seq2Seq 模型及 Attention ，引入 Transformer 模型，并对其架构进行宏观微观的解读，然后详细介绍Transformer...
【学习笔记】Transformer详解
Small__明的博客
04-04 3869
transformer详解
BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结
I am what i am
07-13 12万+
本篇博客总结几种归一化办法，并给出相应计算公式和代码。 1、综述 1.1 论文链接 1、Batch Normalization https://arxiv.org/pdf/1502.03167.pdf 2、Layer Normalizaiton https://arxiv.org/pdf/1607.06450v1.pdf 3、Instance Normalization h...
Transformer的基本原理
null的专栏
08-27 1908
Seq2Seq[1]框架最初是在神经机器翻译（Neural Machine Translation，NMT）领域中提出，用于将一种语言（sequence）翻译成另一种语言（sequence）。其结构如下图所示：在Seq2Seq框架中包含了Encoder和Decoder两个部分。在Encoder阶段，通过神经网络将原始的输入{x1,x2,⋯ ,xTx}\left \{ x_1,x_2,\cdots,x_{T_x}\right \}{x1​,x2​,⋯,xTx​​}转换成固定长度的中间向量{c1,c2,⋯ ,c
transformer的输入到输出（维度以及矩阵计算）
NLPnoproble的博客
07-05 4293
维度变化：q*k.T=（3，5）*（5，3）=（3，3）（/^dk和softmax矩阵维度不变）维度变化：q*k.T=（3，5）*（5，3）=（3，3）（/^dk和softmax矩阵维度不变）z=(3,5*4)=(3,20) 注意力机制到这里就结束了（z为提取的向量特征）之后乘v=（3，3）*（3，5）=（3，5）(由于为4头注意力机制所以5乘4)之后乘v=（3，3）*（3，5）=（3，5）(由于为4头注意力机制所以5乘4)y=(3,5)的一个矩阵（包含了位置向量和单词向量）
Transformer 模型详解
热门推荐
步入人工智能
05-29 24万+
本内容主要介绍 Transformer 模型的具体实现。
使用transformer
05-25
Transformer是一种基于自注意力机制的神经网络模型，用于序列到序列（Sequence-to-Sequence）学习任务，例如机器翻译、摘要生成和对话系统等。 在使用Transformer进行对话生成时，我们可以将用户输入的文本作为初始序列，然后通过模型不断生成回复文本序列。具体来说，我们可以使用Encoder-Decoder结构，其中Encoder将输入序列编码为一个向量，Decoder则根据该向量生成回复序列。 使用Transformer进行对话生成的关键是训练数据的准备和模型的调优。我们需要准备大规模的对话数据集，并对模型进行调参，以获得最佳的生成效果。此外，还需要考虑如何处理OOV（Out of Vocabulary）问题，以及如何生成连贯、自然的回复文本序列。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值