【transformer】| 李宏毅transformer decoder

最新推荐文章于 2024-06-15 11:15:05 发布
最新推荐文章于 2024-06-15 11:15:05 发布
阅读量164 收藏
点赞数
分类专栏： transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35608277/article/details/118164274
版权

encoder
在这里插入图片描述

eg
decoder 输入包括 encoder的输出，给定一个BEGIN ，一个decoder输出的维度V（机器翻译就是中文字的个数，4、5000）
在这里插入图片描述
每个输出送入下一个输入
在这里插入图片描述

对比encoder ,结构类似

在这里插入图片描述
为masked - multihead attention

即第一个输出b1仅考虑a1,b2仅考虑b1 b2

在这里插入图片描述

在这里插入图片描述

何时停止？

AT VS NAT
在这里插入图片描述
输入某个字符时输出end

NAT：每个输入都为start 找到输出为end的地方，截止

在这里插入图片描述

与encoder不同的地方：
交互注意力
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
训练方法
在这里插入图片描述

rrr2
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
swin transformer权重
08-11
"Swin Transformer权重"是指用于初始化或更新Swin Transformer模型参数的数值集合，这些权重通常由预训练模型提供，以便用户可以在自己的任务上快速获得良好性能。 Swin Transformer的核心思想是引入了类似于卷积...
Transformer详解.pptx
06-15
Transformer模型是自然语言处理（NLP）领域的一个里程碑式创新，由Ashish Vaswani等人在2017年提出的论文《Attention is all you need》中首次介绍。它摒弃了传统的循环神经网络（RNN）和长短期记忆网络（LSTM）结构...
NLP Transformer的Decoder的输入输出都是什么？每个部分都是什么? NLP中的encoder和decoder的输入是什么？
简单记录生活、学习
07-11 5844
要弄清楚Decoder的输入输出，关键在于图示三个箭头的位置：因为输入（“我爱中国”）在Encoder中进行了编码，这里我们具体讨论Decoder的操作，也就是如何得到输出（“L Love China”）的过程。
大白话Transformer结构-从此爱上Transformer
05-06
以通俗的语言讲解Transformer的整体流程和思想，让你了解Transformer的来龙去脉。资料：
Transformer系列：图文详解Decoder解码器原理
最新发布
2401_85343303的博客
06-15 1349
Encoder-Decoder框架简介shifted right移位训练解码器的并行训练和串行预测解码器自注意力层和掩码解码器交互注意力层和掩码解码器输出和损失函数在原论文中Transformer用于解决机器翻译任务，机器翻译这种Seq2Seq问题通常以Encoder-Decoder框架来进行建模，Transformer的网络结构也是基于encoder-decoder框架设计的。
Transformer Decoder
weixin_42418688的博客
11-15 1万+
本文主要讲解Transformer中的Decoder部分，后续其他部分会逐渐补充 首先，我们先定义几个常用的变量（以翻译为例）： emb_dim:表示词嵌入的维度 input_length:表示输入单词的个数 target_length:表示翻译出单词的个数 + 1，为什么会加1会在后面详细说明 vocab_size:表示所有单词的总个数，其实就是词库的意思 本文主要从以下三个方面进行介绍： 1.transformer主要解决的的问题 2.信息在transformer中的流动 3.Deco
5分钟理解transformer中的decoder
xiufan1的博客
01-19 8235
transformer中decoder和encoder是非常像的。 先假设decoder是一个独立的块，研究它的输入和输出。 一、Autoregressive（自回归） 如果把decoder当成一个黑匣子，这个黑匣子先接受一个特殊符号begin，说明预测开始，第一个输出的字符为“机”，那么A再输入进decoder在输出"器"，以此类推。在最后的时候用另一个特殊符号end结尾。这样把输出当成输入的学习称为AT（自回归）。 二、ATvsNAT 非自回归，顾名思义，输入不再是上一时刻的输出。那么这时候就会引.
Transformer中解码器decoder的详细讲解（图文解释）
showswoller的博客
03-30 8135
Transformer中解码器decoder的详细讲解（图文解释）
Transformer中的Encoder、Decoder
01-06
一、Transformer博客推荐 Transformer源于谷歌公司2017年发表的文章Attention is all you need,Jay Alammar在博客上对文章做了很好的总结： 英文版：The Illustrated Transformer CSDN上又博主（于建民）对其...李宏毅
transformer中encoder-decoder实现步骤拆分
02-21
transformer中encoder-decoder实现步骤拆分
Transformer机器翻译数据集
01-03
Transformer机器翻译数据集是用于训练和评估机器翻译模型的重要资源，尤其在自然语言处理（NLP）领域。Transformer模型由Google的研究团队在2017年提出，它彻底改变了序列到序列学习的范式，成为了现代神经网络翻译...
【Transformer系列（1）】encoder（编码器）和decoder（解码器）
热门推荐
路人贾的博客
04-15 2万+
一文带你学会encoder-decoder框架
Transformer 中的 Decoder 机制
DeepLearning_的博客
11-07 3576
目标序列 [tensor([1., 1., 1.]), tensor([1., 1., 1., 1., 1.])]# 特征序列 [tensor([1., 1.]), tensor([1., 1., 1., 1.])]# 目标序列和特征序列之间的长度不一样，需要将原序列中和目标序列中padding后的元素mask掉。# 有效特征序列[2,4]==>[2,4,1], 有效目标序列[2,5]==>[2,5,1]# 维度扩充[seq_len,seq_len]==>[1,seq_len,seq_len]
一文搞懂Transformer解码器（图文详解）
2402_82802238的博客
04-15 3184
本系列文章致力于用最简单的语言讲解Transformer架构，帮助朋友们理解它的强大，本文是第七篇：Transformer解码器图文详解。
【深度学习】(4) Transformer 中的 Decoder 机制，附Pytorch完整代码
博观而约取，厚积而薄发
06-29 3601
大家好，今天和各位分享一下 Transformer 中的 Decoder 部分涉及到的知识点：计算 self-attention 时用到的两种 mask。本文是对前两篇文章的补充，强烈建议大家先看一下：1.《Transformer代码复现》：https://blog.csdn.net/dgvv4/article/details/1254916932.《Transformer中的Encoder机制》：https://blog.csdn.net/dgvv4/article/details/125507206本节
Transformer 中 Decoder 结构解读_by 弘毅
chumingqian的博客
04-08 7775
Transformer 中 Decoder 结构解读 DECODER D 的输出 一个 一个 产生的， decoder 中看到当前输入是 ， decoder 在前一个时间点的输出； decoder 会将自己的输出 当做接下来的 输入； 此时， 先暂时忽略 Decoder 中 来自 encoder 的输入； 训练的时候 误差 采用 minize cross entropy; 测试的时候 的 误差 BLUe score Masked self attention : 只考虑输入向量本身， 以及输入向量的
深入理解深度学习——Transformer：解码器（Decoder）的多头注意力层（Multi-headAttention）
冯·诺依曼
06-14 1万+
来表示由带掩码的多头注意力层输出的注意力矩阵。多头注意力机制的第1步是创建查询矩阵、键矩阵和值矩阵。我们已知可以通过将输入矩阵乘以权重矩阵来创建查询矩阵、键矩阵和值矩阵。我们可以看到，每个解码器中的多头注意力层都有两个输入：一个来自带掩码的多头注意力层，另一个是编码器输出的特征值。[3] 车万翔, 崔一鸣, 郭江. 自然语言处理：基于预训练模型的方法[M]. 电子工业出版社, 2021.是通过分数加权的值向量之和计算的。将最终的注意力矩阵送入解码器的下一个子层，即前馈网络层。（前一个子层的注意力矩阵）。
Transformer Decoder详解
To be a better man
05-24 5411
这两天在学习Transformer，看了李沐的论文解读和NLP从入门到放弃，看完这两个视频算是大致明白了Transformer的结构。 关于Self-Attention、Multi-Head Attention以及Poisitonal Encoding强烈建议看一下这篇文章：详解Transformer中Self-Attention以及Multi-Head Attention 但是对于Decoder部分，依然是有点模糊，不知道Decoder的输入到底是什么，也不知道Decoder到底是不是并行计算，还有E
Transformer翻译模型Decoder详解（Masking）
weixin_37735081的博客
02-11 9443
写这个博客的原因在于：大部分解释Transformer的文章都只注重讲解Encoder部分，在Encoder中又侧重讲解self-attention原理。为了读者更好地理解整个Transformer的训练过程，我决定结合代码写一篇在理解了Encoder部分怎么理解Decoder模块的博文。 参考文章：https://jalammar.github.io/illustrated-transforme...
Transformer Decoder
09-14
Transformer Decoder是Transformer模型的一个组件，用于解码器部分。在Transformer模型中，编码器部分负责将输入序列进行编码，而解码器部分则负责生成输出序列。Decoder的作用是根据编码器的输出和之前生成的部分...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值