Transformer（李宏毅老师Transforme PPT截图）

最新推荐文章于 2023-03-29 21:27:31 发布
最新推荐文章于 2023-03-29 21:27:31 发布
阅读量1k 收藏 4
点赞数
分类专栏： 课程 文章标签： transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40091720/article/details/127714344
版权

参考李宏毅老师Transformer 课程连接https://www.youtube.com/watch?v=ugWDIIOHtPA&list=PLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4&index=61

Seq2seq model with Slef-attention

RNN:Hard to paralled RNN考虑整个句子再输出
Using CNN to replace RNN ，CNN可平行化，CNN考虑受限，如果重叠很多层CNN，上层可考虑更多咨询
在这里插入图片描述
用self-attention取代原RNN想做的事情，输入是一个sequence，输出也是一个sequence，每个输出也都考虑过整个input，b1和b4可同时被算出
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
！！！b1,b2,b3,b4可平行（同时）被计算出来
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Multi-head Self-attention
在这里插入图片描述
在这里插入图片描述
上述 input Sequence顺序不重要
ei代表位置信息
在这里插入图片描述
在这里插入图片描述
Wp
在这里插入图片描述
将RNN用self-attention layer 取代
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

鱼糕鱼糕
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Transformer组会PPT
09-20
Transformer组会PPT
transformer模型
weixin_47182486的博客
08-28 302
ppt来自李宏毅老师的视频 在讲transformer之前需要了解一下rnn和attention的知识 rnn缺点： 不容易并行化计算，要一个一个字符输入 方法1：用CNN代替 将整体序列输入，使用filter获取信息，为了获得长序列的关系可以使用多层CNN 方法2：self-attention 将每个输入向量分别乘以不同矩阵获得不同的向量 接下来用q对k做attention，即输入q和k输出匹配分数，注意q和k维度相同 scaled dot-product attention:具体是将q和k点乘除以
swin transformer的PPT
最新发布
01-22
swin transformer
第八次组会PPT_Vision in Transformer
04-23
第八次组会的PPT，讲解的内容为Vision Transformer 1.全文翻译：http://t.csdn.cn/P5i1H 2.知识点总结：深入浅出一文图解Vision in Transformer http://t.csdn.cn/NlVDJ
Transformer深度讲解，进一步给出其在NLP和CV下的发展，共95页ppt，全网最好的讲解，没有之一
12-21
1.Transformer背景介绍 2.Transfromer整体架构 3.Transformer输入部分 4.Transfromer的编码器 5.Transfromer的解码器 6.Transformer输出部分 7.Transfromer其他部分 1.GPT-1 和 Bert 2.GPT-2 3.GPT-3 Transformer在深度学习环境下背景： 17年自Attention is all you need提出后，开始在NLP（自然语言处理）领域大放异彩 20年后，开始在CV领域发光，到现在基本一统天下了 其在NLP和CV领域下的许多分类、分割、检测等任务下均刷榜 总结一下Transformer模型。 从论文本身来看，其最大的创新在于提出的注意力机制，即多头注意力层，并嵌入到一个模块化可堆叠的模型结构中。一开始Transformer被用于机器翻译，但它也能够用在几乎所有的NLP任务上。自它之后，整个深度学习重心开始转向NLP方面。 4..InstructGPT和ChatGPT 1.VIT 2.Clip与DallE-1 3.DiffusionModel和DallE-2
Transformer.ppt
12-02
简单介绍transformer实现理论
TransformerPPT使用链接
张一
11-13 574
如何理解Transformer论文中的positional encoding，和三角函数有什么关系？在测试或者预测时，Transformer里decoder为什么还需要seq mask？Transformer源代码解释之PyTorch篇，decoder部分分析看懂了。疑惑三：Transformer里decoder为什么还需要seq mask？疑惑一：Transformer的Decoder的输入输出都是什么？讲解transformer源码的（基于pytorch）Attention中的Q、K、V是什么？
Transformer详解.pptx
06-15
本课件是对论文 Attention is all you need 的导读与NLP领域经典模型 Transformer 的详解，通过介绍传统Seq2Seq 模型及 Attention ，引入 Transformer 模型，并对其架构进行宏观微观的解读，然后详细介绍Transformer每一步的工作流程，最后给出 Transformer 在训练阶段的细节提要，以及推理阶段的解码策略等内容。
Transformer PPT
04-22
介绍了为什么要引入self-attention、self-attention的基本原理、self-attention的矩阵表示、Multi-head self-attention、 Positional Encoding、seq2seq
[PPT] 李宏毅chatgpt，生成式ai
liguandong
03-27 3748
上面两张图是在测试语言模型是否真的有判断能力，蓝色是没有输入prompts，橙色是输入了正确的prompts，红色是输入错误的prompts，但是红色输入错误的promots，模型的输出并没有错很多。给模型输入一些不相关的prompt，看模型的输出，橙色给的正确答案，红色是错误答案，紫色是无关答案，蓝色没给prompt，给机器的promot很重要，prompt其实就是提示它做什么任务。模型越大，从context中学习到的能力越强，颜色越深，打乱label之后学习能力改变越明显，甚至给错误的答案他能反着学。
【李宏毅机器学习】TransFormer框架基础储备知识（p51） 学习笔记 | 全程手码，放心食用
weixin_45947476的博客
12-06 605
全文总结于哔哩大学的视频：李宏毅2020机器学习深度学习(完整版)国语 2020版课后作业范例和作业说明在github上：点击此处 李宏毅上传了2020版本的机器学习视频和吴恩达的CS229机器学习相比，中文版本的机器学习显得亲民了许多，李宏毅的机器学习是英文的ppt+中文讲解，非常有利于大家入门。吴恩达的CS229中偏向于传统机器学习（线性回归、逻辑回归、Naive Bayes、决策树、支持向量机等），李宏毅2020版本的机器学习中除了最前面的回归、分类，后面更多篇幅涉及卷积神经网络（CNN）、循环神经网
最详细的Transformer讲解，Attention Is All You Need
低吟浅笑
11-13 2643
前言 Attention Is All You Need Google Brain 引用量：30255（1/3 ResNet） 贡献：Transformer 是第一个完全依赖自注意力来计算其输入和输出表示而不是使用序列对齐的RNN和CNN。 一直听别人说Transformer，搞不清楚是什么。可以不用，但是需要理解。 但现有的博客，感觉大多轻飘飘的，甚至没讲清楚 attention 和 self-attention的区别，q，k，v表示什么意义，怎么引入等等。 我这里做了一点小总结...
台大李宏毅自注意力机制和Transformer详解（续）！
溯源的专栏
03-29 365
1）Transformer是变形金刚的意思，与BERT有很强的关联。2）Transformer是一个sequence-to-sequence（seq2seq）的模型，输出长度由模型自己决定3）encoder部分主要是self-attention，另外采用了残差网络构架和layer normalization4）decoder由AT和NAT两种方式。需要定义BEGIN和END特殊符号。AT的方式一开始是输入BEGIN符号，最后预测产生了END符号结束。
Transformer详解
liaominghui123的博客
07-18 579
所有的Q&A问题（翻译，聊天机器人，摘要提取，评价的正负面等等）都可以用seq2seq来解，用大量的训练文本去训练，比如聊天机器人等： 甚至用在目标检测硬解： encoder seq2seq的本质就是输入一些向量然后经过某个block生成另外一些向量。这件事RNN和self-attention和CNN都能做，在这里我们transformer做： 现在分析transformer里面每个block的结构： 首先是输入经过self-attention得到a，然后根据残差连接的思想加上一个b后用一个lay
【李宏毅】注意力机制+transformer详解
m0_51474171的博客
11-06 6972
详细讲解自注意力机制的计算，Encoder和Decoder部分的每一个模块
深度学习-李宏毅PPT总结
dinie9454的博客
08-21 1687
前言： 　　深度学习话题十分火热，网上的资料也非常多，这的确很头疼，太容易迷失。个人认为寻找大牛的授课ppt作为入门方式就可以，跟随大牛的脚步先画出一条直线，再补充骨肉。Anyway,这篇文章十分适合机器学习初学者迅速了解深度学习，了解清楚什么是深度学习，如何做及现在最火的卷积神经网络。 教材链接：李宏毅 Let us rock！ 1.什么是机器学习 机器...
Transformer（李宏毅2022）
linyuxi_loretta的博客
10-18 2287
（作业五）变形金刚的英文就是Transformer,那Transformer也跟我们之后会,提到的BERT有非常强烈的关係,
一份PPT快速了解Graph Transformer，包括其与GNN、Transformer的关联
我爱计算机视觉
02-26 3794
关注公众号，发现CV技术之美GNN与Transformer的关系1. 从连接结构的角度看2.从公式的角度看Graph Transformer是什么 & 关联？1. Graph Transformer是什么2. Graph Transformer与GAT， Transformer之间的区别/关联3. 为什么会有Graph Transformer早期的Graph Transformer早期Gr...
【深度学习】05-01-Transformer-李宏毅老师21&22深度学习课程笔记
星辰不问
07-11 1175
【深度学习】05-01-Transformer-李宏毅老师21&22深度学习课程笔记
Transformer in Transforme
10-19
Transformer in Transformer（TNT）是一种新型的神经网络结构，它是在Transformer的基础上进行改进的。TNT的主要思想是在Transformer的每个编码器层中再嵌入一个小型的Transformer，这个小型的Transformer被称为“局部感知Transformer”，它可以更好地捕捉局部特征。同时，TNT还使用了一种新的位置编码方法，称为“相对位置编码”，它可以更好地处理序列中的位置信息。根据引用的结果，TNT在ImageNet数据集上取得了81.5%的top-1准确率，表现非常优秀。但是需要注意的是，RepVGG也取得了80%以上的准确率，因此在实际应用中需要根据具体情况选择合适的模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值