李宏毅transformer（学习记录）

已于 2022-04-28 16:01:15 修改
阅读量718 收藏
点赞数
文章标签： python
于 2022-04-25 16:28:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45909601/article/details/124407494
版权

在S2S任务中，主要就是input进入encoder，然后经过decoder得到输出

transformer中的encoder结构，其作用就是输入一排向量，输出另一段向量，可以用self-attention，RNN，CNN模型完成、在transform中用的是attention

下面是encoder结构，input经过一系列的block，最后得到另外一组向量，

 接下来是每个block的解析，以input为单独一个蓝色标签b为例，首先输入经过attention得到a,然后将a做残差即得到a+b，再将a+b做layer-norm得到c，将c经过全连接层（即右半边），并做残差得到c+d，并作layer-norm得到e，上述结构为一个block   (layer-name与batch norm大致相同，不过不在局限于一个bantch）

整体结构图，将输入加入位置信息，（进入attention，在进行layer-norm，在进行FC+layer-norm）括号的为一个block操作重复n次

以上部分为encoder，decoder部分

将encoder得到的一组vector，在经过decoder结果在经过softmax得到输出值

decoder 会将前一次自己的输出当作输入

下面是decoder的结构，其中mask self-attention与self-attention区别在于，计算a22的时候q2只考虑与k1，k2相乘，不再考虑后面的k3，k4，得到的结果进入multi head attention

将mask attention中的vector得到q后，再从encoder结果抽取出资讯出来

 

 

戚有伟
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
提名标签：基于约束Transformer的文本生成器复现
zql1009的博客
06-10 255
摘要本文重点研究了Seq2Seq（S2S）约束文本生成，其中文本生成器被限制在生成输出中提到特定的单词，这些单词是编码器的输入。MF模型被训练生成令牌，直到所有约束都被满足，保证高约束满足。我们的实验在通用生成任务（通用）（林et al.，2020），结束2结束数据到文本任务（E2ENLG）（Dusˇek等，2020）和小说对象字幕任务（概念）（Agrawal等，2019）显示，MF模型保持更高的约束满足和文本质量高于基线的模型和其他约束文本生成算法，在所有三个任务上都实现了最先进的性能。
李宏毅深度学习Transformer笔记
m0_61803871的博客
12-11 1270
记录了李宏毅老师的Transformer课程的笔记。
李宏毅 Transformer 学习笔记
热门推荐
herosunly的博客
07-04 1万+
1. self-attention 1.1 为什么要引入self-attention   基于RNN(LSTM)的序列模型来说，计算每个cell的输出无法进行并行化。而且单向的RNN无法很好的利用全局的信息。   self-attention的出现恰好解决了以上两大问题。 其中x->a这一步貌似在论文中并没有体现。在求每一个output的时候，对应的q会对所有的k求内积（除以d\sqrt...
SOA测试系列 S2S路由功能浅析及测试解读之问答集锦：延时的一般要求是多少 | 功能逻辑是基于信号还是基于Service instance | E2E不正确时，S2S的转发具体是什么行为
Polelink北汇信息的博客
01-12 589
域控外围I/O资源的服务化测试，主要特点为：源端的信息来自于I/O资源（比如传感器的硬线信号），测试服务中的所承载的参数或数据，是否和I/O资源所要表征的状态一致（如开关的断开和闭合时对应的服务参数，是否分别与开关当前状态一致），此类测试属于功能测试的范围，比如原子服务/设备抽象服务的功能测试。S2S和上述基于域控外围I/O资源的服务化测试的区别是，S2S的源端信息来自于Service和Signal，这里的Service和Signal来源于以太网或者其他总线，而非域控本身的I/O资源。
李宏毅机器学习笔记-transformer
夏之微风的博客
09-23 365
transformer是什么呢？是一个seq2seq的model。具体应用如上图所示，输入和输出的序列长度不固定，由model自己决定。语音翻译指的是，直接输入一段语音信号，例如英文，输出的直接是翻译之后的中文。seq2seq如今已经是一个应用非常广泛的模型，可以应用于NLP的各种任务，如语义分析，语义分类，聊天机器人等。另外还有个值得说明的功能是做。。和是完全不一样的，一个是多分类，另一个是一个样本可以有多个标签。但是多标签的问题，可以用seq2seq模型来解决。
【Transformer】——李宏毅机器学习笔记
久蔡合子
12-21 1247
Transformer
李宏毅机器学习笔记——Transformer
m0_56659208的博客
04-09 4229
李宏毅机器学习笔记 本章主要是介绍了Transformer(全自注意力网络)： 1. 通过sequence-to-sequence模型中的RNN存在问题——不能并行计算，CNN替换可以解决一部分问题，但也存在缺陷。 2.由CNN缺陷引入了Self-Attention Layer来替代RNN的sequence-to-sequence模型——Transformer。 3.讲解Self-Attention的基本原理与具体过程。 4.讲解了一种叫做“多头”注意力（“multi-headed” attention）的
李宏毅机器学习笔记
01-18
李宏毅机器学习笔记，文档文件，笔记全面，总结充分，仅供学习
李宏毅深度学习学习笔记 Task0
08-15
李宏毅深度学习课程笔记p12
李宏毅学习笔记的PDF版
04-22
李宏毅老师的机器学习视频是机器学习领域经典的中文视频之一，也被称为中文世界中最好的机器学习视频。李老师以幽默风趣的上课风格让很多晦涩难懂的机器学习理论变得轻松易懂，并且老师会通过很多有趣的例子结合机器...
台大李宏毅机器学习课件全集
05-07
台大李宏毅机器学习课件全集，包含37个PDF课件，适合所有入门同学学习。
李宏毅机器学习学习笔记
08-05
李宏毅机器学习学习笔记
python的line[:-1]和line[-1]
最新发布
changzi990的博客
06-07 319
到此这篇关于详解python中[-1]、[:-1]、[::-1]、[n::-1]使用方法的文章就介绍到这了,更多相关python[-1]、[:-1]、[::-1]、[n::-1]内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！[2::-1]代表从下标从0到2的三个数，逆序取。[m : ] 代表列表中的第m+1项到最后一项。[1:]代表从下标为1开始取到最后一个数。[::-1]代表逆序取，从后向前取。[-1] 代表去到最后一项。结果为：'edcba'结果为：'abcd'
算法-找出N个数组的共同元素
Python领域优质萌新创作者
06-02 576
3.1、使用集合的intersection_update方法，将当前编辑的新闻编号集合与common_news_set取交集，并更新common_news_set。1.1、使用集合的交集操作找出被所有编辑共同编辑过的新闻：遍历每个新闻集合进行交集操作，时间复杂度为O(K)，其中K为所有编辑操作的总数。3.2、这样，common_news_set中将保留与当前编辑共同编辑过的新闻编号，即找到所有编辑共同编辑过的新闻编号的交集。news_ids: 一个包含N个列表的列表，每个列表包含一个编辑编辑过的新闻编号。
Python热重载调试新利器
weixin_53707653的博客
06-03 963
Reloading是一个Python工具库，它让我们可以在每次迭代之前从源代码中重新加载（或函数）而不丢失任何当前已执行过程。该工具对于在深度学习模型训练期间编辑源代码尤其好用，它让我们可以添加日志记录、打印统计数据或保存模型，而无需重新启动训练。
Python自动化脚本：文件分类
svygh123的专栏
06-01 596
要使用Python根据文件类型进行分类，可以遍历指定目录下的所有文件，检查每个文件的扩展名，然后根据扩展名将文件移动到对应的文件夹中。
python的while循环与for循环总结
qq_31667253的博客
06-03 1029
whilefor前两章中，我们跟着海绵宝宝的故事，掌握了while循环和for循环，这两种不同的循环模式。while循环和for循环都需要有和while。
Python检测变量：深入剖析与实战应用
cvbhgnmk_bmgf的博客
06-04 446
除了以上四个方面、五个方面、六个方面和七个方面的检测技巧外，Python还提供了许多其他强大的功能和工具，帮助我们更好地管理和操作变量。本文将从四个方面、五个方面、六个方面和七个方面深入剖析Python中检测变量的技巧和方法，带领读者走进这个充满挑战与机遇的领域。通过掌握类型检测、值检测、作用域检测和内存检测等技巧和方法，我们可以更加熟练地处理Python中的变量问题，提高程序的正确性和性能。通过检测变量的内存使用情况，我们可以发现潜在的内存泄漏问题，并采取相应的措施进行优化。
using evo for visualization of SLAM trajectories
weixin_44444492的博客
06-03 934
【代码】using evo for visualization of SLAM trajectories。
李宏毅transformer笔记
08-22
李宏毅是一位著名的机器学习和深度学习专家，他在教学视频中也提到了Transformer模型。下面是一些关于李宏毅关于Transformer的笔记总结： 1. Transformer 是一种基于注意力机制（attention mechanism）的序列到序列（sequence-to-sequence）模型。它在自然语言处理任务中取得了很大的成功。 2. Transformer 模型的核心思想是完全摒弃了传统的循环神经网络（RNN）结构，而是采用了自注意力机制（self-attention mechanism）来建模输入序列之间的依赖关系。 3. 自注意力机制能够将输入序列中的每个位置与其他位置建立联系，从而捕捉到全局上下文的信息。它能够解决传统的RNN模型在处理长序列时的梯度消失和梯度爆炸问题。 4. Transformer 模型由编码器（Encoder）和解码器（Decoder）两部分组成。编码器负责将输入序列表示为高维向量，解码器则根据编码器的输出生成目标序列。 5. 编码器和解码器由多个层堆叠而成，每一层都包含了多头自注意力机制和前馈神经网络。多头自注意力机制可以并行地学习输入序列中不同位置之间的关系。 6. Transformer 模型还引入了残差连接（residual connection）和层归一化（layer normalization）来帮助模型更好地进行训练和优化。 这些是李宏毅关于Transformer的一些主要笔记总结，希望对你有所帮助。注意，这些总结仅代表了我对李宏毅在其教学视频中所讲述内容的理解，如有误差请以李宏毅本人的观点为准。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值