Transformer笔记

最新推荐文章于 2023-12-11 01:07:35 发布
最新推荐文章于 2023-12-11 01:07:35 发布
阅读量490 收藏
点赞数
分类专栏： 学习整理 文章标签： transformer 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29787929/article/details/122237554
版权

Transformer笔记

Transformer是由编码器和解码器组成，编码器和解码器是基于自注意力的模型叠加而成。

编码器

编码器由多个相同的层叠加而成，每个层都有两个子层：多头注意力层和基于位置的前馈神经网络层，每个子层都采用残差连接并进行层归一化

解码器

解码器由多个相同的层叠加而成，每个层都有三个子层：遮蔽多头注意力层、编码器-解码器注意力层和基于位置的前馈神经网络层，每个子层都采用残差连接并进行层归一化

细节

  • 编码器输入为词向量与位置编码的和
  • 解码器中遮蔽多头注意力数据为前一个解码器层的输出，每个位置只能考虑该位置之前的所有的位置（遮蔽）
  • 编码器-解码器注意力层查询来自前一个解码器层的输出，键和值来自整个编码器的输出
  • transformer对长序列建模能力强，但参数过多，难以训练
等风来随风飘
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
transformer笔记
cuixuange的博客
03-09 236
来自李宏毅老师的课程笔记，http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html 0.前置基础 RNN: 优点:可以获取全局信息 缺点:不能并行计算 CNN: 优点:GPU并行计算 缺点:bigram仅能观察到本地信息 self-attention层: x1: input sequence item a1: item embedding q1...
算法高阶版transformer笔记01
06-23
算法高阶版transformer笔记01
将多个 TransformerEncoderLayer 层堆叠起来，形成一个完整的 Transformer 编码器
vivi_cin的博客
09-15 541
这个类的主要作用是组装多个编码器层，使得它们可以一层一层地处理输入序列，并生成编码器的输出。这个输出通常用作后续任务的输入，例如序列到序列任务、文本分类等。层堆叠起来，形成一个完整的 Transformer 编码器。类的实例，表示编码器层的构建模块。编码器由多个这样的层叠加而成。: 这是可选的层归一化组件，用于在编码器的输出上应用层归一化。: 这是编码器中的子编码器层数。函数：这个函数执行编码器的前向传播过程。然后，它迭代遍历每个子编码器层（由。，则应用层归一化并返回输出。组成），并将输入序列。
【Transformer】图解 Transformer
sikh_0529的博客
02-10 1012
由于我们处理的是矩阵，我们可以将第二步到第六步压缩为一个公式来计算自注意力层的输出。矩阵形式的self-attention计算。
Transformer详解
weixin_40005743的博客
01-02 6640
Transformer学习细抠Transformer基础：Attention modelA High-Level Look模型如何运作？Self-Attention详解如何计算encoder self attention?muti-headed attention用位置编码表示句子的序列中词的顺序残差Decoder 部分最后的Linear和softmax层 细抠Transformer 基础：Att...
Transformer源码解读-读书笔记
scar2016的博客
03-02 1412
文章目录1. 模型2. 基于位置的前馈网络3. 残差连接和层规范化4. 编码器5. 解码器6. 训练7. 小结 1. 模型 2. 基于位置的前馈网络 3. 残差连接和层规范化 4. 编码器 5. 解码器 6. 训练 7. 小结
李宏毅深度学习Transformer笔记
m0_61803871的博客
12-11 1391
记录了李宏毅老师的Transformer课程的笔记。
transformer 笔记
qq_43508270的博客
07-23 878
ques:Transformer为什么需要进行Multi-head Attention？原论文中说到进行Multi-head Attention的原因是将模型分为多个头，形成多个子空间，可以让模型去关注不同方面的信息，最后再将各个方面的信息综合起来。其实直观上也可以想到，如果自己设计这样的一个模型，必然也不会只做一次attention，多次attention综合的结果至少能够起到增强模型的作用，也可以类比CNN中同时使用多个卷积核的作用，直观上讲，多头的注意力有助于网络捕捉到更丰富的特征/信息。
视觉Transformer笔记
j_river6666的博客
06-16 1222
视觉transformer原理及发展历程
【跟李沐学AI 动手学深度学习】Transformer 笔记
qq_53223504的博客
08-15 77
归一化会使得网络训练得比较深比较好，但是此处不能用batch normalization，因为BN是对每一个通道或者每一个特征的向量做归一化，而语言序列的长度会变，所以特征会不稳定，不适合做BN。一个全连接，将输入形状由（b，n，d）变换为（bn，d），因为序列长度会变，所以n不能作为一个特征。在自注意力中，前t个预测值作为key、value，第t个预测值还会作为query。多头注意力使用h个独立的注意力池化，合并各个头（head）输出得到最终输出。另一个全连接，将形状由（bn，d）变换为（b，n，d）
Transformer学习笔记
08-07
Tranformer源码
transformer论文笔记及思维导图
03-12
transformer论文笔记及思维导图，自留。推荐下列课程 【Transformer论文逐段精读【论文精读】】 https://www.bilibili.com/video/BV1pu411o7BE/?share_source=copy_web&vd_source=3028d9bd754f243aee4c850f06ac7fef ...
Python Transformer模型笔记.md
08-17
本文首先介绍了Transformer模型的背景、思想和核心机制,然后重点介绍了Transformer的两个关键组件:自注意力机制和多头注意力机制,给出了具体的示例代码。最后讨论了Transformer模型在自然语言处理中的两个典型应用:...
《动手学深度学习》task4——机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer笔记
01-06
《动手学深度学习》task1_1 线性回归 《动手学深度学习》task1_2 Softmax与分类模型 《动手学深度学习》task1_3 多层感知机 《动手学深度学习》task2_1 文本预处理 《动手学深度学习》task2_2 语言模型 ...
机器学习笔记-Transformer
08-03
Transformer语言模型是一种基于注意力机制的深度学习模型，它是在2017年由Google提出的，被广泛应用于自然语言处理领域。 Transformer模型主要由编码器和解码器组成，其中编码器将输入的文本序列转换为一组向量，...
transformer-course-design-ma笔记
07-19
transformer
transformer-leaf-disease-recognition-笔记
最新发布
07-20
transformer-leaf-disease-recognition-笔记
Transformer解读.pdf
04-09
这是我阅读了大神Peter Bloem全面解读Transformers的博客后，完成的阅读笔记，以及对大神Peter Bloem博客中一些具体细节的理解以及思考，感兴趣的朋友可以下载看看。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值