P11机器学习--李宏毅笔记（Transformer Decoder）Testing部分

最新推荐文章于 2024-04-03 08:58:21 发布
最新推荐文章于 2024-04-03 08:58:21 发布
阅读量544 收藏 1
点赞数 1
分类专栏： 机器学习李宏毅 文章标签： transformer 深度学习 人工智能 pytorch 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013373155/article/details/127416020
版权

目录

大概运作模式

 Encoder与Decoder对比

那为什么要用masked Self-attention呢 

怎么让输出停下来

AT vs NAT

cross-attention

Decoder接受的输入

大概运作模式

将Encoder的输出丢入到Deconder中，每一个输出会有一个distribution对应概率表，其中得分最高的即是现在的输出

当在第二步时我们既有BEGIN作为输入也有机作为输入

 然后以此类推，但是有可能接受到错误的信息导致一步错步步错的结果（这个问题怎么解决最后再讲）

 Encoder与Decoder对比

 通过这个图我们会发现，如果我们把Decoder中间这块遮住，那么Encoder与Decoder就差不多

这里加了个mask，这个mask是什么意思呢

 

 

原来的self attention，b1会考虑所有a1到a4而，masked self-attention，b1只关心a1，而b2只关心a1和a2

那为什么要用masked Self-attention呢 

Deconder用self-attention是因为Decoder常常可以拿到一大批数据，而Encoder拿得是Decoder的输出，而Decoder的输出是一个一个产生的，现有a1才有a2

怎么让输出停下来

在distruibution里面加入end，它可以和begin是同一字符也可以是不同字符

 

AT vs NAT

 

AT是一个一个丢进去，而Nat是一堆丢进去要判断结束要设置一个分类器。当然AT的效果好但是NAT速度快（并行处理）

cross-attention

其中两个输入来自decoder，一个输入来自encoder

 其中q来自decoder，k和v来的encoder这个就是cross attention

Decoder接受的输入

 在原始paper里，Encoder有好多层，都是拿Encoder最后一层的输出去给Decoder。但是也不一定这样，下图指出了可能性

 

到这里讲的都是训练好的模型怎么做testing，而没有讲怎么训练，下一章我们会将怎么训练

温涛
关注
专栏目录
李宏毅 Transformer（Decoder部分）
missgrass的博客
03-10 4398
Transformer P2_Decoder Decoder – Autoregressive (AT) Autoregressive (AT )😗 利用前期若干时刻的随机变量的线性组合来描述以后某时刻随机变量的线性回归模型。即已知N个数据，可由模型推出第N点前面或后面的数据（设推出P点）
transformer李宏毅讲解视频及decoder讲解
m0_37347812的博客
08-04 162
李宏毅讲解视频 Transformer Decoder 如何理解transformer的decoder Transformer翻译模型Decoder详解（Masking）
深入理解深度学习——Transformer：解码器（Decoder）部分
冯·诺依曼
06-15 1万+
因此，一个解码器（第一个除外）将有两个输入：一个是来自前一个解码器的输出，另一个是编码器输出的特征值。同理，我们也不是将输入直接送入解码器，而是将其转换为嵌入矩阵，为其添加位置编码，然后再送入解码器。，我们将输入转换为嵌入（我们称之为嵌入值输出，因为这里计算的是解码器在以前的步骤中生成的词的嵌入），将位置编码加入其中，然后将其送入解码器。这编码器中的多头注意力层的工作原理相似，但有一点不同，具体的原理可以参考《一旦解码器学习了目标句的特征，我们就将顶层解码器的输出送入线性层和Softmax层，如下图所示。
目标检测2.0新范式！DETR：Transformer目标检测的开山之作
weixin_43980550的博客
10-01 2623
DETR提出一个简洁的pipeline，无需先验知识、手工操作，通过transformer编解码结构和二分图匹配优化，直接得到目标检测框和类别。开启transformer目标检测新范式！
Transformer原理与代码精讲（PyTorch）
01-29
Transformer发轫于NLP（自然语言处理），并跨界应用到CV（计算机视觉）领域。目前已成为深度学习的新范式，影响力和应用前景巨大。  本课程对Transformer的原理和PyTorch代码进行精讲，来帮助大家掌握其详细原理和具体实现。  原理精讲部分包括：注意力机制和自注意力机制、Transformer的架构概述、Encoder的多头注意力（Multi-Head Attention）、Encoder的位置编码（Positional Encoding）、残差链接、层规范化（Layer Normalization）、FFN（Feed Forward Network）、Transformer的训练及性能、Transformer的机器翻译工作流程。   代码精讲部分使用Jupyter Notebook对Transformer的PyTorch代码进行逐行解读，包括：安装PyTorch、Transformer的Encoder代码解读、Transformer的Decoder代码解读、Transformer的超参设置代码解读、Transformer的训练示例（人为随机数据）代码解读、Transformer的训练示例(德语-英语机器翻译)代码解读。相关课程： 《Transformer原理与代码精讲（PyTorch）》https://edu.csdn.net/course/detail/36697《Transformer原理与代码精讲（TensorFlow）》https://edu.csdn.net/course/detail/36699《ViT（Vision Transformer）原理与代码精讲》https://edu.csdn.net/course/detail/36719《DETR原理与代码精讲》https://edu.csdn.net/course/detail/36768《Swin Transformer实战目标检测：训练自己的数据集》https://edu.csdn.net/course/detail/36585《Swin Transformer实战实例分割：训练自己的数据集》https://edu.csdn.net/course/detail/36586《Swin Transformer原理与代码精讲》 https://download.csdn.net/course/detail/37045
李宏毅老师《机器学习》课程笔记-5 Transformer
宁萌Julie的博客
06-05 1195
详细介绍大名鼎鼎的 Transformer 。
NLP-D6-李宏毅机器学习L3hw-L4self-attention-L5seq2seq(Transformer)
weixin_45252975的博客
04-29 1771
昨天的进度被一些意外的事情打乱了，而且搞得心烦意乱，但是没关系！！！留得青山在，不怕没柴烧，昨天第一次给同学讲解ML，发现了自己不牢固的知识，感觉很好！ ----0553 开始预习hw3的slides&&看课。 ----------0609 看了作业要求，感觉很干！！！打算边吃饭边看。 ------0628吃完了，产生了问题 1、交叉验证不会使模型提前见到训练集嘛？ 我自己的想法：我们本来做的就是用val调model，交叉验证只不过是另一种利用val的方法。 ------0710大概看完了，
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 5661
self-attention，transformer及变形
Transformer（李宏毅2022）
linyuxi_loretta的博客
10-18 2459
（作业五）变形金刚的英文就是Transformer,那Transformer也跟我们之后会,提到的BERT有非常强烈的关係,
李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder
iwill323的博客
10-25 2283
李宏毅机器学习--self-supervised--BERT和GPT
层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理
热门推荐
iioSnail的博客
02-10 2万+
本文内容 本文基于李宏毅老师对 Self-Attention 的讲解，进行理解和补充，并结合Pytorch代码，最终目的是使得自己和各位读者更好的理解Self-Attention 李宏毅Self-Attention链接: https://www.youtube.com/watch?v=hYdO9CscNes PPT链接见视频下方 通过本文的阅读，你可以获得以下知识： 什么是Self-Attention，为什么要用Self-Attention？ Self-Attention是如何做的？ Self-Atten
Attention is all you need:关于transformer中的self-attention
hands_up_down的博客
12-19 928
本来我是打算直接上swim transformer的，但是预备知识得有VIT,去学VIT，一个self-attention又给我整懵了。所以，现在回到2017年google团队发表的《Attention is all you need》 https://www.bilibili.com/video/BV1Xp4y1b7ih?from=search&seid=14536050607345172525&spm_id_from=333.337.0.0https://www.bilibili.co
Transformer中解码器decoder的详细讲解（图文解释）
showswoller的博客
03-30 8550
Transformer中解码器decoder的详细讲解（图文解释）
Decoder如何工作、Transformer如何训练、以及exposure bias问题
m0_59113542的博客
02-12 2483
1、结合图文描述Decoder中各个模块是什么，以及是如何工作的。2、transformer是如何训练的。3、exposure bias问题造成的原因及解决方法
Transformer解释
Mark_Australia的博客
09-06 1044
transformer 理解
【AIGC调研系列】Transformer如何应用到软件测试领域
zachary的博客
04-03 1108
Transformer模型在软件测试领域的应用主要集中在提高软件缺陷预测的准确性、自动生成和更新测试用例、评估软件的可测试性以及代码补全等方面。这些应用展示了Transformer模型在处理自然语言和理解程序结构方面的强大能力，为软件测试领域带来了新的机遇和挑战。
seq2seq 预测/测试阶段decoder的输入
Talk Is Cheap
12-01 3715
训练阶段输入 encoder_input decoder_input decoder_target 其中decoder_target是decoder_input的shift一位（如图） 预测阶段输入 encoder_input decoder_input：前一decoder的step的预测结果就会作为下一step的输入，只用输入一个<GO>（如图）
Transformer 中 Decoder 结构解读_by 弘毅
chumingqian的博客
04-08 8977
Transformer 中 Decoder 结构解读 DECODER D 的输出 一个 一个 产生的， decoder 中看到当前输入是 ， decoder 在前一个时间点的输出； decoder 会将自己的输出 当做接下来的 输入； 此时， 先暂时忽略 Decoder 中 来自 encoder 的输入； 训练的时候 误差 采用 minize cross entropy; 测试的时候 的 误差 BLUe score Masked self attention : 只考虑输入向量本身， 以及输入向量的
在测试或者预测时，Transformer里decoder为什么还需要seq mask？
season77us的博客
02-02 4048
这个sublayer里会用一个三角矩阵来做mask。在training的时候，这个mask是为了保证causality，即把将来的数据mask掉，这都比较好理解。但是在做testing的时候，为什么还要继续使用这个mask了？ 如在http://nlp.seas.harvard.edu/2018/04/03/attention.html#batches-and-masking 里 ...
李宏毅机器学习HW5-Transformer数据
最新发布
08-11
李宏毅的机器学习课程中提到的HW5（作业5），可能涉及到Transformer模型在自然语言处理任务中的应用。Transformer是一种基于自注意力机制的深度学习模型，最初由Google在2017年提出的BERT（Bidirectional Encoder ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值