Transformer笔记/教程及扫盲--狸

已于 2023-07-09 16:28:38 修改
阅读量625 收藏 9
点赞数 4
分类专栏： Transformer 文章标签： transformer deep learning 深度学习 机器学习 人工智能
于 2023-07-09 01:26:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xue_Xueyl/article/details/131616727
版权
文章详细介绍了Transformer的结构，包括Self-Attention的ScaledDot-ProductAttention和Multi-HeadAttention，以及Encoder和Decoder的工作原理。文中还探讨了不同类型的Mask在Transformer中的应用，并强调了理解各个组件的维度变化的重要性。虽然目前没有附带代码，但作者计划逐步添加和完善笔记。
摘要由CSDN通过智能技术生成

Transformer

简介

​
网上Transformer的教程非常多，不同博主对Transformer关注的细节不一样。在写这篇文章之前，我看过李宏毅、李沐；b站up主deep_thoughts、蓝斯诺特、范仁义-AI编程；csdn博主Forforth、Queen_sy；知乎博主Jack CC、JFF比JF更强壮等等。

我出这个教程的目的是想：
(1) 加深自己对Transformer的印象；
(2) 把Transformer以更直观的形式展现给初学的读者，包括我自己画的图片和维度变化，帮助读者扫盲和更清晰更直观地理解Transformer；
(3) 拜托大佬提出意见和指正有问题的地方，来让我更正现有认知。

这篇笔记里，几乎都是图片，图里的内容都是我根据一些教程和代码总结而来的，除了论文原图和李宏毅老师视频的图片，其他都是我自己写和画的，画的我心累啊啊啊啊啊啊啊！

暂时还没有代码，以后慢慢附上，同时也会根据大家意见不断完善笔记。

看教程之前建议先看过有关的Transformer的教学视频，比如李宏毅的等等！
​

1. Transformer整体结构

Attention Is All You Need中的图片
这张图大家应该刷过很多次了，可能乍一看有点看不懂。。。
Transformer又分为Encoder和Decoder两部分：在这里插入图片描述

然后让我们换一种形式表示上面的图：
在这里插入图片描述
其中：
在这里插入图片描述

你是不是有点清晰了？还是依旧看得一头雾水？没事！
我们先把Encoder和Decoder放一放，到后面再讲。
我们先把细节部分讲一讲
 
接着看~
 
 

2. Self-Attention

2.1 Scaled Dot-Product Attention

如果你看过李宏毅的视频或网上的教学，你可能会见过这张图
在这里插入图片描述

然后就会看到矩阵运算…
如果你不知道为什么上图其实就是矩阵运算，可以看一下我画的图：
在这里插入图片描述

上图我们展示了（1）Q K.T和（2）A’ V的运算，其中A’ = softmax(Q K.T / sqrt(d_k))
那么softmax(Q K.T / sqrt(d_k)) V就是self-attention的公式了。

我们来详细看看self-attention的公式及其维度细节。
在这里插入图片描述
其实你会发现，self-attention的运算是在Q, K, V的最后两个维度进行的，最后输出结果的最后两个维度是len_q, d_v
在multi-head attention中，调用self-attention之后，再加上.trans.concat) W_0就可以了

2.2 Multi-Head Attention

【对应部分】：
在这里插入图片描述

论文中multi-head attention的图里，是每个head分别做self-attention，再concat在一起。

但是在代码中每个head使用的是一个self-attention，用一条公式表达就是这样子：
在这里插入图片描述
具体维度变化参考Self-Attention部分的图中的“MHA”红框，最后得出维度是[batch_size, len_q, d_model]
可以看到，malti-head attention中需要学习的参数只有4个：W_Q, W_K, W_V, W_0，和len_q, len_k, len_v无关！

实现流程是这样子的：
在这里插入图片描述
 
 

3. FeedForward

【对应部分】
在这里插入图片描述

论文中的公式，其实就是这个意思。不多讲，看看ReLU的定义
在这里插入图片描述
 
 

4. Mask

Transformer里的mask有3个，分别在每一个attention中，即：(1) Encoder的Multi-Head Attention的mask；(2) Decoder的Masked Multi-Head Attention的mask；(3) Decoder的Multi-Head Attention的mask。
【对应部分里使用】
在这里插入图片描述

在mask中我们发现，而<P> * k_j不会被mask，而q_i * <P>会被mask掉

下面注意看维度！

4.1 (1) Encoder的Multi-Head Attention的mask 和 (3) Decoder的Multi-Head Attention的mask

这里我看见有2种写法

4.1.1 第一种写法

在这里插入图片描述

4.1.2 第二种写法

在这里插入图片描述

4.2 (2) Decoder的Masked Multi-Head Attention的mask

第1个mask和上面的第一种写法一样，第2个mask是上三角矩阵，
然后两个mask取并集！
在这里插入图片描述

5. Encoder和Decoder

5.1 Encoder和Decoder中的运作和维度

让我们重新上图
在这里插入图片描述

然让们看看Encoder和Decoder中的运作和维度
在这里插入图片描述
再接一张图
在这里插入图片描述

5.2 Encoder和Decoder中3个attention里的运作和维度

然后看看Encoder和Decoder中3个attention里的运作和维度
在这里插入图片描述
再接一张图
在这里插入图片描述

5.3 Train和Test或Predict的流程图

（该部分还存疑，欢迎大佬们来指正！）
在这里插入图片描述

 
 

结语

可能这篇文章对于没接触过transformer的人看起来会一头雾水，我本身的目的是想把它当成入门教程和初学扫盲的，但是我感觉这篇文章可能并不适合入门。不过我会慢慢改善的！请大家提意见~
 
 

References

你女朋友是我的哦～
关注
专栏目录
transformer-xl 如何使用，pytorch中如何使用
weixin_35751194的博客
01-02 312
好的，我会用中文来回答你的问题。 首先，我需要确认一下你问的是否是 Transformer-XL 这个模型？Transformer-XL 是一个在长序列上的自注意力机器翻译模型，它在许多自然语言处理任务中表现出了很好的性能。 如果你是想问如何使用 Transformer-XL，那么首先你需要在 PyTorch 中安装它。你可以使用以下命令来安装 Transformer-XL： pipinstall...
09transformer-xl-chinese项目解读和实践
qq_45637001的博客
01-08 804
项目：https://github.com/GaoPeng97/transformer-xl-chinese 英文的话：https://github.com/kimiyoung/transformer-xl 第一步 先运行起来项目自带案例 看了一下，四个案例中，zhihu是最小的，所以选择zhihu作为代码运行的案例。 按照readme的步骤，查看了里面的参数，没啥好调整的，看到文件路径啥的都写的好好的。 如果是新建，得重新用train，这里看见了文件路径，就修改为zhihu，但等运行代码结束再点运行。
深度学习精讲：预训练模型探索——Transformer-XL与Longformer解析及应用
bishedaima_com_q的博客
06-09 98
在正式讨论 Transformer-XL 之前，我们先来看看经典的 Transformer（后文称）是如何处理数据和训练评估模型的，如图 1所示。图 1 Vanilla Transformer 训练和评估阶段在数据处理方面，给定一串较长的文本串，会按照固定的长度（比如 512），直接将该文本串进行划分成若干 Segment。这个处理方式不会关注文本串中语句本身的边界（比如标点或段落），这样” 粗暴” 的划分通常会将一句完整的话切分到两个 Segment 里面，导致上下文碎片化（
Transformer-XL详解
Xu_Wave
05-25 7139
Transformer-XL
完全图解自然语言处理中的Transformer——BERT基础（入门长文）
热门推荐
qq_42208267的博客
12-20 1万+
. 翻译自Jay Alammar Blog 在上一篇文章可视化Seq2Seq+attention中，我们介绍了现在深度学习中特别常用的Attention（注意力）机制。注意力可以提升机器翻译的效果。这篇文章介绍Transformer，一种使用注意力机制提升训练速度的模型。Transformer在一些任务中优于谷歌翻译模型。它最大的好处是可以并行（RNN基本不可能并行）。Google Cloud 也...
实习生笔记-ChatGPT入门扫盲
weixin_51271786的博客
01-08 1004
在古典老师的204年跨年演讲里，再次说明了AI对现在有创意的工作者的挤压。明白地说，取代工作者的不是AI，而是会借助AI完成生产力跃迁的另一些工作者。“降本增效”，是要做”本“还是”效“，取决于行动。我在工作中常使用ChatGPT，平时的课设、文稿等都会借助于它，而对它的了解，我扪心自问还是不够的，所以我在极客时间看了李佳芮老师的公开课进行学习，总的时间不算长，以下是一些笔记。以下是ChatGPT用通俗易懂的语言来解释的。
DETR阅读笔记和源码理解：End-to-End Object Detection with Transformers
lovep1的博客
04-06 1828
paper：https://arxiv.org/pdf/2005.12872.pdf code：https://github.com/facebookresearch/detr 近年，transformer开始大量从NLP引入计算机视觉，使得很多工作有了新的方向，本篇paper是第一篇端到端的将transformer引入目标检测和全景分割的工作，我对这个领域也没有那么熟悉，算是一起扫盲了，如果有新的idea，可以尝试复现一波，本文将按照paper的结构进行叙述（本篇paper解读只是占个坑，我对DETR
以太网硬件电路，你真的会设计吗？
BJ-工作室的专栏
06-15 856
IP地址和MAC地址之间的关联关系保存在主机系统里面,叫做ARP表,由驱动程序和操作系统完成.在Microsoft的系统里面可以用arp-a的命令查看ARP表.收到数据帧的时候也是一样,做完CRC以后,如果没有CRC效验错误,就把帧头去掉,把数据包拿出来通过标准的借口传递给驱动和上层的协议客栈,最终正确的达到我们的应用程序.还有一些控制帧,例如流控帧也需要MAC直接识别并执行相应的行为.以太网MAC芯片的一端接计算机PCI总线,另外一端就接到PHY芯片上,它们之间是通过MII接口链接的。
Transformer-XL框架
谢彦的技术博客
01-31 999
引入 Transformer-XL超长上下文的注意力模型，出自CMU和Google Brain在2019年1月发表的论文：《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》。其中XL是extra long的缩写，意为额外长度。论文地址：https://arxiv.org/pdf/1901.02860....
【文档智能】文本文字识别、公式识别、表格文字识别核心算法及思路及实践-DBNet、CRNN、TrOCR
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
10-13 1267
OCR技术作为文档智能解析链路中的核心组件之一，贯穿整个技术链路，包括：文字识别、表格文字识别、公式识别，参看下面这张架构图：前期介绍了很多关于文档智能解析相关核心技术及思路，本着连载的目的，本次迎来介绍整个链路中的最后一块拼图-OCR。本文简要介绍OCR常见落地的算法模型-DBNet、CRNN，并基于这两个模型，简单介绍文字识别在表格识别中参与的角色；并且额外介绍TrOCR这个端到端的模型，基于这个模型引入公式识别解析的思路及微调方法。
《深度学习》OpenCV 光流估计 原理、案例解析
wx_AHao1004Y的博客
10-11 1020
光流估计是指通过计算相邻帧之间的像素位移，来估计图像中物体的运动信息。
【深度学习】transformer为什么使用多头注意力极致？为什么不使用一个头
q742971636的博客
10-13 148
在现代深度学习中，Transformer 模型的多头注意力机制已被广泛应用，特别是在自然语言处理领域。最近我读到一篇有趣的博客文章，详细介绍了为什么 Transformer 采用多头注意力，而不是简单的单头注意力。文章从理论推导到代码实现，对多头注意力机制进行了深入分析。下面我为大家总结其中的几个关键点。
深度学习知识的粗略框架
liron71的专栏
10-13 820
深度学习知识系统的粗略性框架
深度学习 .exp()
2302_79865304的博客
10-13 176
在 MXNet 中，.exp()是ndarray对象的方法，用于计算数组中每个元素的指数（e 的幂）。此方法适用于所有类型的ndarray，并返回一个新的数组，其中每个元素都是相应输入元素的指数。
深度学习在癌症基因组学和组织病理学中的应用与前景｜文献精析·24-10-16
最新发布
罗小罗同学的博客
10-16 990
这篇文章是关于深度学习（Deep Learning, DL）在癌症基因组学和组织病理学中的应用的综述。这篇综述写的非常好，虽然只发表在Genome Medicine（IF=10.4，一区），但是概念阐述的非常清晰！！关于病理+基因等一系列的多模态医学研究已经开展了非常多，但是。有多方面的原因，总体可以分为两类——。虽然早从2018年就有相关的研究发表，但是受限于当时的硬件水平，处理大规模的数据可能有些困难；
基于深度学习的车辆车型检测识别系统（YOLOV5）
ANDROID6666666的博客
10-16 218
本项目旨在开发一个基于深度学习的车辆识别系统，采用先进的yoloV5网络架构，以实现对不同车型的精准识别。系统开发环境选用Pycharm集成开发环境，并结合Anaconda进行环境管理和包依赖的配置。为了确保系统的稳定性和高效性，我们选择了Python 3.8作为开发语言，并集成了opencv、PyQt5以及torch1.9等关键库和框架。在数据方面，准备了总共9000张图片，其中8000张用于训练模型，剩余的1000张用于测试模型的性能。
CNN-GRU回归预测 | MATLAB实现CNN-GRU卷积门控循环单元多输入单输出回归预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
10-10 310
CNN-GRU回归预测 | MATLAB实现CNN-GRU卷积门控循环单元多输入单输出回归预测
AI学习指南深度学习篇-变分自编码器（VAE）简介
俞兆鹏的博客
10-11 914
变分自编码器（VAE）在深度学习领域展现了其强大的生成能力，以其灵活性和高效性成功解决了许多复杂任务。与传统自编码器相比，VAE能够更好地建模潜在变量的分布，使得生成的样本更具多样性和真实性。随着研究的深入，VAE及其变体在许多领域中被广泛应用，并且继续吸引大量研究者的关注。
File "F:/Swins-Transformer/Swin-Transformer-3/pytorch_classification/swin_transformer/train.py", line 254, in <module> main(opt) File "F:/Swins-Transformer/Swin-Transformer-3/pytorch_classification/swin_transformer/train.py", line 106, in main weights_dict = torch.load(args.weights, map_location=device)["model"] # 加载模型的预训练权重 KeyError: 'model'怎么解决
06-02
这个错误通常是因为你尝试从一个不包含 "model" 键的字典中加载模型权重，而 "model" 键是在保存模型权重时使用的键。你需要检查你的模型权重文件，确保它是正确保存的，并且包含 "model" 键。 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值