一文搞懂Transformer-decoder

最新推荐文章于 2024-08-08 10:25:06 发布
最新推荐文章于 2024-08-08 10:25:06 发布
阅读量2.2k 收藏 18
点赞数 28
文章标签： transformer 深度学习 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lbr15660656263/article/details/140058077
版权

目录

一、解码器（Decoder）

二、掩码多头注意力

三、预测(Token Prediction)

四、decoder原理代码复现

一、解码器（Decoder）

        我们看一下到目前为止我们已经完成了哪些内容，以及我们还需要完成哪些内容： 

        我们不会计算整个解码器，因为它的大部分已经在编码器中完成了类似的计算，详细计算解码器只会使文章变得冗长，因为重复的步骤很多；下面，我们会更多关注解码器输入和输出的计算。

        解码器有两个输入，一个输入来自编码器，顶层编码器的输出转换为一组注意力向量K和V；这些向量将在每个解码器的“交叉注意力”层中使用，用于帮助解码器集中注意力于输入序列中的适当位置；第二个输入是预测文本，假设我们输入给编码器的是 "用简单语言讲解Transformer"，解码器的输入是预测的文本"太棒了"。

 

        以上动图展示了Transformer解码器训练过程在机器翻译任务中的运用。

        接下来的步骤会重复这个过程，直到达到一个特殊的结束符，表示Transformer解码器已经完成了输出；每个步骤的输出都会在下一个时间步骤中被传递给底层解码器，解码器们会像编码器一样层层传递解码结果，并且，就像我们对编码器输入所做的那样，我们对这些解码器输入进行嵌入和添加位置编码，以指示每个单词的位置。

        以上动图展示了Transformer解码器训练过程在机器翻译任务中的运用。

        但是训练的目标输入文本需要遵循一种标准的token封装方式，这样Transformer就知道从哪里开始和结束。

 

        在这里，引入了两个新的token，分别是<|im_start|>和<|im_end|>，此外，解码器一次只能接受一个token作为输入，也就是说，<|im_start|>会被作为一个输入，而"太”就是下一个预测token。 

        正如我们所知，这些词嵌入是有随机权重值的，这些权重将在训练过程中进行更新。

        如下图所示，以之前在编码器部分计算的相同方式计算剩余的块。

        在深入了解之前，我们需要通过一个简单的例子来理解什么是掩码多头注意力（masked multi-head attention）的概念。

二、掩码多头注意力

        在Transformer中，掩码多头注意力就像是模型用来聚焦句子不同部分的灯光，它的特殊之处在于，它不允许模型查看句子中后面的单词，避免了作弊；这有助于模型逐步理解和生成句子，在对话或将单词翻译成其他语言等任务中尤为重要。

        我们以上面的目标输入（”太棒了“）矩阵为例，其中每一行代表序列中的一个位置，每一列代表一个特征，如下所示为7 * 6的矩阵（d_model为6）。 

现在，让我们来了解具有两个头的掩码多头注意力组件的构成：

  1. 线性投影（Q，K，V）：假设每个头的线性投影为 Head 1: Wq1，Wk1，Wv1 和 Head 2: Wq2，Wk2，Wv2。
  2. 计算注意力分数：对于每个头，通过Q和K的点积计算注意力分数，并应用掩码以防止关注未来位置。
  3. 应用Softmax函数：将注意力分数应用于softmax函数，获得注意力权重。
  4. 加权求和（V）：将注意力权重与值相乘，获得每个头的加权和。
  5. 加法和线性变换：将两个头的输出连接起来，并应用线性变换。

进行如下简化的计算：

 

        加法和线性变换步骤将两个注意力头的输出合并为一组信息，这一步骤有助于从多个角度捕捉输入数据的不同方面，并提供一个更丰富的表示，供模型进一步处理使用。

三、预测(Token Prediction)

        解码器最后一个加法和归一化层的输出矩阵必须具有与输入矩阵相同的行数，而列数可以是任意的。在这里，我们使用6列。

        为了将解码器最后一个加法和归一化层的结果矩阵与一个线性层匹配，必须将其展平，以求得语料库中每个唯一Token的预测概率。 

展平的层将通过一个线性层来计算语料库中每个唯一Token的逻辑值（分数）。

 

一旦我们获得逻辑值，我们可以使用softmax函数对它们进行归一化，并找到概率最高的Token。

 

 

并且，用户可以用temperature参数来控制softmax函数的输出分布，以增加或减少随机性。

根据我们的计算，解码器预测的单词是"太"，它的Token是8192和103。

 

 

        这个预测的单词"太"将被视为解码器的输入单词，并且这个过程会一直持续，直到预测到<|im_end|>标记。

四、decoder原理代码复现

https://pytorch.org/docs/stable/generated/torch.nn.TransformerDecoderLayer.html 

dim=6,head=1

import torch

encoder_batch_size = 1
encoder_seq = 1
dim = 6
encoder_output = torch.rand(encoder_batch_size,encoder_seq,dim)

decoder_batch_size = 1
decoder_seq = 1
decoder_heads = 1
decoder_input = torch.rand(decoder_batch_size,decoder_seq,dim)

decoder_layer = torch.nn.TransformerDecoderLayer(dim,decoder_heads,dropout=0.0,batch_first=True)
out = decoder_layer(decoder_input,encoder_output)
print(out)

def my_scaled_dot_product(query,key,value):
    qk_T = torch.mm(query,key.T)
    qk_T_scale = qk_T / torch.sqrt(torch.tensor(value.shape[1]))
    qk_exp = torch.exp(qk_T_scale)
    qk_exp_sum = torch.sum(qk_exp,dim=1,keepdim=True)
    qk_softmax = qk_exp / qk_exp_sum
    v_attn = torch.mm(qk_softmax,value)
    return v_attn,qk_softmax
# 第一次multi-head
first_in_proj_weight = decoder_layer.state_dict()['self_attn.in_proj_weight']
first_in_proj_bias = decoder_layer.state_dict()['self_attn.in_proj_bias']
first_out_proj_weight = decoder_layer.state_dict()['self_attn.out_proj.weight']
first_out_proj_bias = decoder_layer.state_dict()['self_attn.out_proj.bias']
first_batch_V_output = torch.empty(decoder_batch_size,decoder_seq,dim)
for i in range(decoder_batch_size):
    first_in_proj = torch.mm(decoder_input[i],first_in_proj_weight.T) + first_in_proj_bias
    Qs,Ks,Vs = torch.split(first_in_proj,dim,dim=-1)
    head_Vs = []
    for Q,K,V in zip(torch.split(Qs,dim//decoder_heads,dim=-1),torch.split(Ks,dim//decoder_heads,dim=-1),torch.split(Vs,dim//decoder_heads,dim=-1)):
        head_v,_ = my_scaled_dot_product(Q,K,V)
        head_Vs.append(head_v)
    V_cat = torch.cat(head_Vs,dim=-1)
    V_ouput = torch.mm(V_cat,first_out_proj_weight.T) + first_out_proj_bias
    first_batch_V_output[i] = V_ouput
# 第一次加
first_Add = decoder_input + first_batch_V_output
# 第一次layer_norm
norm1_mean = torch.mean(first_Add,dim=-1,keepdim=True)
norm1_std = torch.sqrt(torch.var(first_Add,unbiased=False,dim=-1,keepdim=True) + 1e-5)
norm1_weight = decoder_layer.state_dict()['norm1.weight']
norm1_bias = decoder_layer.state_dict()['norm1.bias']
norm1 = ((first_Add - norm1_mean)/norm1_std) * norm1_weight + norm1_bias
# 第二次multi-head
second_in_proj_weight = decoder_layer.state_dict()['multihead_attn.in_proj_weight']
second_in_proj_bias = decoder_layer.state_dict()['multihead_attn.in_proj_bias']
second_out_proj_weight = decoder_layer.state_dict()['multihead_attn.out_proj.weight']
second_out_proj_bias = decoder_layer.state_dict()['multihead_attn.out_proj.bias']
second_batch_V_output = torch.empty(decoder_batch_size,decoder_seq,dim)
for i in range(decoder_batch_size):
    Qs_weight,Ks_weight,Vs_weight = torch.split(second_in_proj_weight.T,dim,dim=-1)
    Qs_bias,Ks_bias,Vs_bias = torch.split(second_in_proj_bias,dim,dim=-1)
    Qs = torch.mm(norm1[i],Qs_weight) + Qs_bias
    Ks = torch.mm(encoder_output[i],Ks_weight) + Ks_bias
    Vs = torch.mm(encoder_output[i],Vs_weight) + Vs_bias
    head_Vs = []
    for Q,K,V in zip(torch.split(Qs,dim//decoder_heads,dim=-1),torch.split(Ks,dim//decoder_heads,dim=-1),torch.split(Vs,dim//decoder_heads,dim=-1)):
        head_v,_ = my_scaled_dot_product(Q,K,V)
        head_Vs.append(head_v)
    V_cat = torch.cat(head_Vs,dim=-1)
    V_ouput = torch.mm(V_cat,second_out_proj_weight.T) + second_out_proj_bias
    second_batch_V_output[i] = V_ouput
# 第二次加
second_Add = norm1 + second_batch_V_output
# 第二次layer_norm
norm2_mean = torch.mean(second_Add,dim=-1,keepdim=True)
norm2_std = torch.sqrt(torch.var(second_Add,unbiased=False,dim=-1,keepdim=True) + 1e-5)
norm2_weight = decoder_layer.state_dict()['norm2.weight']
norm2_bias = decoder_layer.state_dict()['norm2.bias']
norm2 = ((second_Add - norm2_mean)/norm2_std) * norm2_weight + norm2_bias
# feed forward
linear1_weight = decoder_layer.state_dict()['linear1.weight']
linear1_bias = decoder_layer.state_dict()['linear1.bias']
linear2_weight = decoder_layer.state_dict()['linear2.weight']
linear2_bias = decoder_layer.state_dict()['linear2.bias']
linear1 = torch.matmul(norm2,linear1_weight.T) + linear1_bias
linear1_relu = torch.nn.functional.relu(linear1)
linear2 = torch.matmul(linear1_relu,linear2_weight.T) + linear2_bias
# 第三次加
third_Add = norm2 + linear2
# 第三次layer_norm
norm3_mean = torch.mean(third_Add,dim=-1,keepdim=True)
norm3_std = torch.sqrt(torch.var(third_Add,unbiased=False,dim=-1,keepdim=True) + 1e-5)
norm3_weight = decoder_layer.state_dict()['norm3.weight']
norm3_bias = decoder_layer.state_dict()['norm3.bias']
norm3 = ((third_Add - norm3_mean)/norm3_std) * norm3_weight + norm3_bias
print(norm3)

 

 

 

 

地里的小趴菜
关注
Python深度学习：【模型系列】一文搞懂Transformer架构的三种注意力机制
惊鸿若梦一书生
05-28 167
注意力机制最初受到人类视觉注意力的启发，目的是让模型在处理大量信息时能够聚焦于当前任务最为相关的部分。在深度学习中，注意力机制允许模型动态地将关注点分配到输入数据的重要部分上，提高了模型处理信息的效率和效果。这种机制尤其在自然语言处理和图像识别领域表现出强大的能力，能够显著提升模型处理序列数据的性能。Transformer 通过其独特的自注意力层和多头注意力机制，配合位置编码和专门的结构设计，极大地。
【人工智能时代】- 一文读懂 Transformer 神经网络模型
最新发布
xiaoli8748的专栏
09-21 974
在实际的业务场景中，Transformer 模型通常是通过在大规模数据上进行预训练，然后在特定任务上进行微调来实现高性能，从而使得模型在实际推理过程中对于新领域或特定任务的适应性有限。在某些特定的场景下，由于 Transformer 模型中自注意力机制的特性，其对于长文本的处理存在一定的困难。打个比方，在机器翻译模型中，注意力机制使得 Transformer 能够根据所有相关单词的上下文，将英语中的"it"正确翻译为法语或西班牙语中的性别对应的词汇。上述两个模型的最显著区别在于“规模”和“功能”。
Transformer中的Encoder、Decoder
01-06
一、Transformer博客推荐 Transformer源于谷歌公司2017年发表的文章Attention is all you need,Jay Alammar在博客上对文章做了很好的总结： 英文版：The Illustrated Transformer CSDN上又博主（于建民）对其进行了很好的中文翻译： 中文版：The Illustrated Transformer【译】 Google AI blog写的一篇简述可以作为科普文： Transformer: A Novel Neural Network Architecture for Language Understanding 李宏毅
Transformer系列：图文详解Decoder解码器原理
2401_85375186的博客
08-08 2410
理解Transformer的解码器首先要了解Encoder-Decoder框架。在原论文中Transformer用于解决机器翻译任务，机器翻译这种Seq2Seq问题通常以Encoder-Decoder框架来解决，Transformer的网络结构也是基于encoder-decoder框架设计的。这种框架的模型分为两部分编码器Encoder和解码器Decoder，编码器负责将原文本数据编码为中间状态向量，该状态向量传递给解码器生成输出。示意图如下。
Transformer中解码器decoder的详细讲解（图文解释）
showswoller的博客
03-30 8677
Transformer中解码器decoder的详细讲解（图文解释）
Transformer Decoder
weixin_42418688的博客
11-15 1万+
本文主要讲解Transformer中的Decoder部分，后续其他部分会逐渐补充 首先，我们先定义几个常用的变量（以翻译为例）： emb_dim:表示词嵌入的维度 input_length:表示输入单词的个数 target_length:表示翻译出单词的个数 + 1，为什么会加1会在后面详细说明 vocab_size:表示所有单词的总个数，其实就是词库的意思 本文主要从以下三个方面进行介绍： 1.transformer主要解决的的问题 2.信息在transformer中的流动 3.Deco
Transformer 中的 Decoder 机制
实力派，无需多言！
11-07 3694
目标序列 [tensor([1., 1., 1.]), tensor([1., 1., 1., 1., 1.])]# 特征序列 [tensor([1., 1.]), tensor([1., 1., 1., 1.])]# 目标序列和特征序列之间的长度不一样，需要将原序列中和目标序列中padding后的元素mask掉。# 有效特征序列[2,4]==>[2,4,1], 有效目标序列[2,5]==>[2,5,1]# 维度扩充[seq_len,seq_len]==>[1,seq_len,seq_len]
NLP/CV：Seq2Seq(应用/思想)→Encoder-Decoder(架构)→Seq2Seq with Attention算法——E-D架构的简介(背景/简介/本质/原理等)、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-08 3820
​ NLP/CV：Seq2Seq(应用/思想)→Encoder-Decoder(架构)→Seq2Seq with Attention算法——E-D架构的简介(背景/简介/本质/原理等)、案例应用之详细攻略 目录 Seq2Seq(应用/思想)的简介：输入一个序列且输出一个序列 Encoder-Decoder(架构)的简介 模型应用总结 Seq2Seq(应用/思想)的简介：输入一个序列且输出一个序列 背景 在 Seq2Seq 框架提出之前，深度神经网络在CV图像分类等问题上取得了
【机器学习】一文搞懂算法模型之：Transformer
商务合作 | 面试培训 | 职场规划 ==>主页扫码
03-22 4807
必会算法模型之：Transformer
【原理篇】一文读懂Transformer
08-19
- **Transformer架构示意图**: 查看其标准的encoder-decoder结构[^4]。 - **注意力机制的数学公式**: 学习softmax加权求和的实现细节[^5]。 - **实际代码实现**: 参考开源库如Hugging Face Transformers[^6]中的代码...
Transformer Decoder详解
To be a better man
05-24 5561
这两天在学习Transformer，看了李沐的论文解读和NLP从入门到放弃，看完这两个视频算是大致明白了Transformer的结构。 关于Self-Attention、Multi-Head Attention以及Poisitonal Encoding强烈建议看一下这篇文章：详解Transformer中Self-Attention以及Multi-Head Attention 但是对于Decoder部分，依然是有点模糊，不知道Decoder的输入到底是什么，也不知道Decoder到底是不是并行计算，还有E
5分钟理解transformer中的decoder
xiufan1的博客
01-19 8565
transformer中decoder和encoder是非常像的。 先假设decoder是一个独立的块，研究它的输入和输出。 一、Autoregressive（自回归） 如果把decoder当成一个黑匣子，这个黑匣子先接受一个特殊符号begin，说明预测开始，第一个输出的字符为“机”，那么A再输入进decoder在输出"器"，以此类推。在最后的时候用另一个特殊符号end结尾。这样把输出当成输入的学习称为AT（自回归）。 二、ATvsNAT 非自回归，顾名思义，输入不再是上一时刻的输出。那么这时候就会引.
深度学习入门--Transformer中的Decoder详解
qq_15534667的博客
05-02 1万+
Transformer中的Decoder详解DecoderDecoder结构Masked训练与推断实现代码 Decoder 在上一节中，我们学习了Encoder的结果及实现代码： Transformer中的Encoder详解：Multi-Head-Attention及Feed-Forward 在这一节中，我们将学习Transformer剩余的部分：Decoder Decoder结构 DecoderDecoderDecoder的结构和EncoderEncoderEncoder类似，但是相较于EncoderE
李宏毅 Transformer（Decoder部分）
missgrass的博客
03-10 4441
Transformer P2_Decoder Decoder – Autoregressive (AT) Autoregressive (AT )😗 利用前期若干时刻的随机变量的线性组合来描述以后某时刻随机变量的线性回归模型。即已知N个数据，可由模型推出第N点前面或后面的数据（设推出P点）
Transformer模型详解05-Decoder 结构
liaomin416100569的专栏
05-14 1822
Transformer 模型由编码器（Encoder）和解码器（Decoder）两部分组成。这里我会着重描述解码器的结构以及在预训练、输入输出和预测时的输入输出。自注意力层（Self-Attention Layers）：与编码器类似，解码器也包含多个自注意力层，用于在解码器端对输出序列的不同位置进行关注，解码器中的自注意力层被修改为接受一个遮盖（masking）向量，以便在计算注意力权重时将未来的信息屏蔽掉，只关注当前位置之前的信息。。
Transformer 中 Decoder 结构解读_by 弘毅
chumingqian的博客
04-08 9638
Transformer 中 Decoder 结构解读 DECODER D 的输出 一个 一个 产生的， decoder 中看到当前输入是 ， decoder 在前一个时间点的输出； decoder 会将自己的输出 当做接下来的 输入； 此时， 先暂时忽略 Decoder 中 来自 encoder 的输入； 训练的时候 误差 采用 minize cross entropy; 测试的时候 的 误差 BLUe score Masked self attention : 只考虑输入向量本身， 以及输入向量的
深入理解深度学习——Transformer：解码器（Decoder）部分
热门推荐
冯·诺依曼
06-15 1万+
因此，一个解码器（第一个除外）将有两个输入：一个是来自前一个解码器的输出，另一个是编码器输出的特征值。同理，我们也不是将输入直接送入解码器，而是将其转换为嵌入矩阵，为其添加位置编码，然后再送入解码器。，我们将输入转换为嵌入（我们称之为嵌入值输出，因为这里计算的是解码器在以前的步骤中生成的词的嵌入），将位置编码加入其中，然后将其送入解码器。这编码器中的多头注意力层的工作原理相似，但有一点不同，具体的原理可以参考《一旦解码器学习了目标句的特征，我们就将顶层解码器的输出送入线性层和Softmax层，如下图所示。
一文搞懂Transformer解码器（图文详解）
2402_82802238的博客
04-15 5777
本系列文章致力于用最简单的语言讲解Transformer架构，帮助朋友们理解它的强大，本文是第七篇：Transformer解码器图文详解。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值