Transformer自学笔记（李宏毅课：Self-attention+Transformer）

已于 2022-03-27 15:23:18 修改
阅读量1.3k 收藏 2
点赞数 3
文章标签： 深度学习 机器学习 transformer 计算机视觉 opencv
于 2022-03-26 17:45:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51355226/article/details/123753010
版权

目录

Self-attention

Input是什么?

Output是什么？ 

怎么解决sequence label（即上述第一种输出）的问题？

Self-attention的计算

Self-attention进阶版本->Multi-head  Self-attention

位置信息怎么处理？

Self-attention用在影像上（我关注的点）

Self-attention和CNN区别

Transformer

Seq2Seq架构

Encoder部分

Decoder部分

 Encoder到Decoder的转换

Training

综述

 训练的一些Tips（不局限于transformer，seq2seq均适用）【略】

Self-attention

Input是什么?

输入不是一个单独的向量，输入的是sequence且长度会改变

例如语音文字识别，可以以下输入

还有语音输入，可以25ms一个frame，之后window向又10ms一次移动

还有graph（例如social network）

还有可以是一个分子

 

Output是什么？

三种可能性：（视频只讲第一种情况）

每一个input对应一个label（Pos tagging、语音辨识、social network）

 一整个sequence只要一个label（sentiment analysis、辨识语音是谁讲的、给出graph的label）

不知道要输出多少个label，机器要自己决定（亦叫seq2seq）

  

怎么解决sequence label（即上述第一种输出）的问题？

最开始想的是使用一个Fully-Connected的network对于每个输出逐个击破，但是例如语句识别，上下文的context是有一定的关系的，所以这种方法不可行（例如I saw a saw，saw有动词也有名词）

接着会像可不可以前后几个向量串起来放到Fully-Connected的network。但是这次输入有长有短，用一个很大的window盖住所有的输入不合适。

 于是就引出了Self-attention（可以交替使用）

实际当中Self-attention的输入可能会是任意一层layer的输出 

Self-attention的计算

1.例如我们先对a1计算，先找到其他输入对于a1的相关性，用α表示（b是输出）

计算α可以用Dot-product、Additive等，本文用Dot-product

 

实际计算：

用文字表示：如计算a1时要算其query（Wq*a1）其余包括a1算key（Wk*ai）计算每一个attention score = q1*ki，之后过一个softmax（也可以用其他的function）得到α'，最后每一个α'*vi（vi = Wv*ai）相加求出b1【vi哪个最大就会dominant你抽出的结果】

用矩阵表达：

这其中的未知数只有Wq、Wk、Wv（通过training-data找出）

Self-attention进阶版本->Multi-head  Self-attention

即每个qi、ki、vi各自分成两个（或多个）qi1、qi2...

位置信息怎么处理？

用到position encoding的技术将位置信息输入

计算position vector的ei可以使用多种方法（尚待研究）

Self-attention用在影像上（我关注的点）

如一个5*10*3（3是channel的数量）图像，以箭头所标注的地方看作一个向量，则整张图像就可以看作是一个5*10的vector set

Self-attention和CNN区别

CNN只考虑receptive filed范围内的信息，但是Sa（即Self-attention）考虑的是整个范围。于是可以说CNN是Sa的特例，简化版的Sa；Sa是复杂化的CNN。

（视频也讲了Sa和GNN的关系，我没有了解过GNN所以没有观看记录；与graph也没有继续了解） 

Transformer

首先transformer是Sequene-to-Sequence的model（这一次本视频讲的是不知道输出多少，由机器自己学习决定）【transformer模型是seq2seq结构的一种具体的模型，是完全基于Attention机制的seq2seq结构】

Seq2Seq架构

首先有一个Encoder和Decoder

Encoder部分

给一排向量输出另外一排向量（transformer中的Encoder部分用的就是Self-attention）

在这里插入图片描述

Encoder的基本架构，就是红色框中，输入一堆向量然后经过一个block输出一堆向量，然后接着输入到下一个block中…最后输出h1, h2, h3, h4，在Transformer网络中每一个block里面是下图中右面这部分组成，对输入的向量进行self-attention操作，每个向量都考虑与其它向量的关联性之后然后输出，然后接入到FC（feed forward network前馈神经网络）中输出结果。

在这里插入图片描述

实际transformer中的Self-attention用到了residual connection，即通过一层Self-attention的输出要加上原有的input作为最后的output（残差）【FC中也用到了residual connection、norm】，之后进行layer normallization（norm对应的操作）【这个就是对向量中每个元素求mean[平均值], standard deviation[标准差] 】

在这里插入图片描述

以上就是下图红色区域的操作，总结一下，就是输入向量如果需要位置信息的话，加上位置Positional向量，然后经过Self-attention(Multi-Head Attention),做add&Norm操作，其中add就是（Residual操作，将输入向量加到self-attention结果输出上），然后将add结果做Layer Norm操作，接着放入到Feed Forward网络中输出结果继续做add&Norm操作。
在这里插入图片描述

以上讲的Encoder是transformer原文论讲的，目前有很多其他的

Decoder部分

在这里插入图片描述

本视频中讲解的是比较常见的Autoregressive（AT）的Decoder，以语音辨识为例子。我们需要将Encoder的输出输入到Decoder当中，这个后面再讲。

首先我们把Encoder输出的向量，读入到Decoder中，这时给Decoder一个专门的记号（special token）Begin，告诉Decoder开始了，然后Decoder输出向量（这里的向量大小取决于你想输出的内容，如果你想输出文字，那么它的长度就是所有文字的数量，如果是英文单词，那么它的长度就是所有英文单词的数量…），再对向量整体做softmax（求每个中文的概率，所有中文概率加起来为1），求其中最大值就是它的第一个输出结果。【输出结果是一个one-hot向量】

在这里插入图片描述

之后我们将第一个输出结果作为第二个输入，同Begin一同作为输入再次以上述方式输出第二个结果。反复执行上述操作->Decoder每次输入都是上一次输出的结果累加起来的。

在这里插入图片描述

在这里提出了一个问题，会不会Decoder输出一个错误的结果，之后作为新一轮的输入导致一步错，步步错。下面会讲解。【见training部分】

 Decoder内部结构

在这里插入图片描述

由下图我们可以看出，Decoder和Encoder的结构类似。不同的是红色部分，以及第一个Multi-head使用了Masked Multi-Head Attention

在这里插入图片描述

Masked Multi-Head Attention 就是b1，b2，b3，b4，每一个向量输出的时候只考虑左边输入的向量关联性得到的输出。（简单来说从左到右输入a1,a2,a3,a4，输出b1的时候只能考虑a1，输出b2的时候只能考虑a1,a2，输出b3只能考虑a1,a2,a3....）【之所以这样是因为在Decoder当中，输入是依次产生的，a1->a2->a3....】

有了Begin开始，那么我们亦要有停下来操作---->End

我们需要给输出向量中加一个end标识，它与其它的中文文字类似，这样当输入”机”“器”“学”“习“时候，经过Decoder输出向量，然后softmax处理后取最大值得到”end“

 在这里插入图片描述

 这里也简单的讲解了一下Non-autoregressive（NAT）：

AT是一次产生一个字，而NAT是一次性产生一个句子

这里可能会有问题：

1.不知道输出长度，怎么确定BEGIN数量呢？

（1）另外使用一个classifier，输入Encoder的输出，输出一个数字即最后应当输出的长度

（2）设定一个输出上限，例如我最大输出长度为300，那么就给300个BEGIN，等到输出END的位置结束即可

2.有什么优点呢？

（1）平行化，速度快

（2）能够控制输出的长度 

 Encoder到Decoder的转换

 主要讲的就是Decoder与Encoder不同的地方（上面讲的时候画红框的位置）是一个Cross attention【连接Decoder和Encoder的桥梁】

Cross attention有三个输入，两个输入为Encoder的输出（蓝色部分）一个输入为Decoder一部分处理后的输出（绿色）

在这里插入图片描述

具体的操作：我们可以并行来看，最下面的大红色框，首先左边对所有的输入做Encoder操作，输出a1，a2，a3，右边对begin输入做self-attention操作得到输出向量b，然后看b与a1，a2，a3关联性也就是self-attention一系列操作。

在这里插入图片描述

其他部分也是如此

在这里插入图片描述

Training

综述

 以上讲的都是testing，接下来讲的是对模型的training

首先我们要收集材料，例如一段语音讯号，我们会给出其label（例如一段语言我们要求其识别出“机器学习”）我们每一次经过Decoder就相当于经过了一次分类问题，要求输出结果与我们要求的尽可能一样（那个字概率要大）

 经过Decoder的每一次输出与label之前都会有一个cross entropy（交叉熵）loss，我们要求所有输出的损失和最小【笔记 | 什么是Cross Entropy - 知乎这篇文章讲解很简单】要注意的是假设我们要求识别四个字，但是结果要有五个结果的交叉熵（最后的end也要算入其中）

另外我们可以看到，每一次输出的结果的输入都有begin以及之前输出的结果，这个叫Teacher Forcing

 训练的一些Tips（不局限于transformer，seq2seq均适用）【略】

1.copy mechanism：

上述的Encoder的输入都是从输出来的，那有没有一种可能是从输入的一部分copy而来呢？例如又例如用很多篇文章train，然后让机器自动对一篇文章产生摘要

（1）pointer network

 2.Guided attention

强制使得机器把输入的所有内容...后面就没看了 

文中部分内容参考了李宏毅Transformer_蒋思的博客-CSDN博客_李宏毅transformer当中的内容，本文章只限于自我记录笔记学习，如果有什么问题希望大家不吝赐教，谢谢。

笑一个吧U
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
【学习】从零入门Transformer
麒麒哈尔的博客
03-25 2007
文章目录Transformer之前RNN & NLPSeq2SeqSeq2Seq + AttentionTransformerEncoderDecoder工作流程 本文记录一下从0入门Transformer的过程 https://zhuanlan.zhihu.com/p/31547842 Transformer之前 说到Transformer，就离不开NLP，就离不开Seq2Seq，毕竟transformer一开始也是和Seq2Seq结合用的。 RNN & NLP 这里先放两个RNN在NLP
详解Self-attention与Transformer1
08-03
Self-attention机制是Transformer模型的核心组成部分，Transformer是由Google在2017年提出的，主要用于解决自然语言处理（NLP）中的序列建模问题。它的主要创新在于使用自注意力层代替了传统的循环神经网络（RNN）和...
【自学】Transformer——NLP、计算机视觉常见算法模型
Wendy030的博客
10-13 1843
什么是Transformer？RNN擅长捕捉序列关系，因此它可以用于处理机器翻译模型。但翻译时句子间的单词数量并非是一一对应的，受限于结构。后来人们找到了Seq2Seq拥有一个编码器Encoder和解码器Decoder。再后来人们找到了一种称为“Attention”的注意力机制，为了解决计算慢速的问题，人们进一步找到了自注意机制，此时模型已经由原来的RNN结构演变成现在基于Self-Attention且拥有一个Encoder和一个Decoder的模型，即Transformer。
从零实现Transformer的简易版与强大版：从300多行到3000多行
热门推荐
结构之法 算法之道
04-12 3万+
transformer强大到什么程度呢，基本是17年之后绝大部分有影响力模型的基础架构都基于的transformer(比如，有200来个，包括且不限于基于decode的GPT、基于encode的BERT、基于encode-decode的T5等等)通过博客内的这篇文章《》，我们已经详细了解了transformer的原理(如果忘了，建议先务必复习下再看本文)
Transformer学习笔记：
qq_52533790的博客
10-08 246
小白初学Transformer学习笔记： 文章目录小白初学Transformer学习笔记：1.首先在介绍Transformer前，先了解相关的知识（1）.Attention机制（注意力机制）（2）.Self—Attention模型（3）.Encoder-Decoder2.正文开始，Transformer介绍 1.首先在介绍Transformer前，先了解相关的知识 （1）.Attention机制（注意力机制） ​   这里先分享下Attention的学习资料：【NLP】Attention Model（注意
Transformer学习总结——原理篇
忆殇D.Rose的博客
08-27 1050
文章目录Transformer学习总结1. 整体结构2. Self-Attention2.1 为什么选择Self-Attention2.2 Self-Attention结构2.3 Scaled Dot-Production Attetntion2.4 Multi-Head Attention3. The Residual Connection 残差连接4. Positional Encoding5...
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的...输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
Swin-Transformer+gradcam可视化代码+Windows环境.zip
01-18
Swin-Transformer+gradcam可视化代码+Windows环境
self-attention-cv:专注于计算机视觉的各种自我关注机制的实现。 进行中的资料库
03-05
相关文章程式码范例多头注意力import torchfrom self_attention_cv import MultiHeadSelfAttentionmodel = MultiHeadSelfAttention ( dim = 64 )x = torch . rand ( 16 , 10 , 64 ) # [batch, tokens, dim]mask = ...
深度学习+BoxeR:Box-Attention for 2D and 3D Transformers
最新发布
02-18
深度学习与Transformer技术在计算机视觉领域中的应用正在不断拓展，其中BoxeR：Box-Attention for 2D and 3D Transformers这篇论文提出了一种新的注意力机制，旨在提高2D和3D Transformer模型的性能。BoxeR的核心是...
Transformer入门学习
Ford程的博客
10-17 1882
摘要：记录一下自己在10月份参加DataWhale组队学习transformer的所得。这篇博客主要关于transformer基本原理的学习和一个输入序列转换的简单demo，并补充了一些transformer在CV领域的variants，希望本次组队学习能帮助自己快速入门，有机会将transformer用在透过散射成像或者PAM成像相关领域中。以下内容主要参照Datawhale开源资料《动手学CV-Pytorch》第六章，感谢DataWhale开源组织，也欢迎大家点进去多多学习~ 2017年谷歌在一篇名为A
小白入门机器学习笔记之Transformer
weixin_63555845的博客
08-01 221
在学习transformer的时候看过很多个视频，包括原理介绍，论文讲解，代码讲解，但是一动手就忘记，偶尔看到一个博主的文章，写的很好就做了下笔记，如果看不懂可以去看看原文。博主叫：Stink1995
Transformer Tutorials 最全入门详细解释（一）
weixin_50920579的博客
03-23 1064
你可以简单理解为它是一个黑盒子，当我们在做文本翻译任务是，我输入进去一个中文，经过这个黑盒子之后，输出来翻译过后的英文。那么在这个黑盒子里面都有什么呢？里面主要有两部分组成：Encoder 和 Decoder当我输入一个文本的时候，该文本数据会先经过一个叫Encoders的模块，对该文本进行编码，然后将编码后的数据再传入一个叫Decoders的模块进行解码，解码后就得到了翻译后的文本，对应的我们称Encoders为编码器，Decoders为解码器。
Transformer学习路线
m0_48096446的博客
10-18 228
选择一种主流的深度学习框架，例如PyTorch或TensorFlow，并学会如何在其中实现和训练Transformer模型。如果你有特定的应用领域（如机器翻译、文本生成、情感分析等）的兴趣，深入研究在该领域中如何应用Transformer模型。通过实践编写代码来构建一个简单的Transformer模型，例如使用它来进行机器翻译或文本生成任务。加入深度学习或NLP的在线社区（例如论坛、博客、社交媒体群组），与其他学习者和专家交流经验和知识。深入研究与Transformer相关的研究论文，了解其扩展和改进。
李宏毅机器学习笔记-transformer
夏之微风的博客
09-23 420
transformer是什么呢？是一个seq2seq的model。具体应用如上图所示，输入和输出的序列长度不固定，由model自己决定。语音翻译指的是，直接输入一段语音信号，例如英文，输出的直接是翻译之后的中文。seq2seq如今已经是一个应用非常广泛的模型，可以应用于NLP的各种任务，如语义分析，语义分类，聊天机器人等。另外还有个值得说明的功能是做。。和是完全不一样的，一个是多分类，另一个是一个样本可以有多个标签。但是多标签的问题，可以用seq2seq模型来解决。
李宏毅 Transformer 学习笔记
herosunly的博客
07-04 1万+
1. self-attention 1.1 为什么要引入self-attention   基于RNN(LSTM)的序列模型来说，计算每个cell的输出无法进行并行化。而且单向的RNN无法很好的利用全局的信息。   self-attention的出现恰好解决了以上两大问题。 其中x->a这一步貌似在论文中并没有体现。在求每一个output的时候，对应的q会对所有的k求内积（除以d\sqrt...
【Transformer】——李宏毅机器学习笔记
久蔡合子
12-21 1347
Transformer
李宏毅深度学习Transformer笔记
m0_61803871的博客
12-11 1365
记录了李宏毅老师的Transformer课程的笔记。
Transformer - 李宏毅笔记
weixin_42010722的博客
02-08 1533
Transformer1.Sequence-to-sequence简介2.transformer结构2.1 transformer的Encoder2.1.1 Encode结构2.1.2 Encoder具体结构分解2.2 transformer的Decoder2.2.1 Decode结构2.2.2 Mask2.2.3 Cross attention 1.Sequence-to-sequence简介 前一章提到过，模型在处理文本或者语音的数据时，是输入一个序列，输出一个class或者一个序列 Seq2seq表示
深度学习-transformer解读
02-04
Transformer的核心创新在于使用Self-Attention机制替代传统的循环神经网络（RNN）和卷积神经网络（CNN），这使得模型能够并行计算，大大提升了处理速度。 Transformer的整体架构基于Encoder-Decoder结构，用于解决...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

笑一个吧U

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值