超详解！Transformer + self-attention

最新推荐文章于 2024-03-08 11:13:05 发布
最新推荐文章于 2024-03-08 11:13:05 发布
阅读量2k 收藏 5
点赞数 1
文章标签： 机器学习 人工智能 深度学习 计算机视觉 神经网络
原文链接：https://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA==&mid=2247494540&idx=2&sn=5714ec7ac9a074cef9fa5d7597342e98&chksm=fe2a4937c95dc021132e14602cb97630375403d486ec6b3a53fa28508f79b0831fc496de028a&scene=126&&sessionid=0
版权

‍

‍点击上方“机器学习与生成对抗网络”，关注星标

获取有趣、好玩的前沿干货！

来源https://zhuanlan.zhihu.com/p/432814387

作者Ziyang Li 东北电力大学机器人工程专业

文仅分享，著作权归作者，侵删

最近刚开始阅读transformer文献感觉有一些晦涩，尤其是关于其中Q、K、V的理解，故在这里记录自己的阅读心得，供于分享交流

一、self-attention部分预热

1.1 计算顺序

首先了解NLP中self-attention计算顺序：

9550f71df5fa91a2637f8ff5edf837f9.png

1.2 计算公式详解

有些突兀，不着急，接下来我们看看self-attention的公式长什么样子：

9830f44c521ea6cf719bb14f99166555.png
公式1

此公式在论文《attention is all your need》中出现，抛开Q、K、V与dk不看，则最开始的self-attention注意力计算公式为：

a9b1be61acabbcd907b8685262442dbc.png
公式2

两公式对比可以发现，Q、K、V都是由输入词X（词向量）经过某种变换所得，向量与转置后的向量相乘，我们可以看做向量与转置后得到的矩阵空间中每一个子向量做点积运算，即向量内积

值得注意的是：我们输入的只是一串字符，这里要把每个词转成我们后续可以进行操作的词向量，需要进行embedding操作，可以理解为把一个词如love转换为对应的语义信息如【1, 3, 0, 5】，当然为了获取词在输入序列中的位置信息，我们在后续的transformer中增加了对应词的位置信息（positional encoding）

内积（点乘）的几何意义包括：

  1. 表征或计算两个向量之间的夹角

  2. a向量在b向量方向上的投影

两向量相乘得一新的向量，即A*B=C，那么这个新的向量C就在一定个程度上代表向量A对向量B的投影度大小

换个角度思考，投影度大小即输入序列中对应词与词的相关度，投影度越大（夹角越小），意味着在一定程度上两个词之间的相关度越大（词向量是文本形式的词在高维空间（抽象化）的数值形式映射）

至此公式2中的X*X^T理解完毕，那么对它进行softmax函数计算，即可得到我们想要的权重

值得注意的是：这里的权重过分关注于自身的位置，即对于X*X^T来说，最终的权重过分关注X对其他词向量的注意力而在一定程度上忽略了其他词，故在后续的transformer中作者采取了多头注意力机制来弥补
3950c89fdfe33da0c3956e4638d44c65.png

同时softmax函数还很好的使得权重和为1，我们只需将得到的权重乘以原来的X，即可得到最终的输出，这个输出经过了一次词与词之间相关度（也就是注意力）的计算，这也完成了一个self-attention的过程

现在让我们回到公式1：

01d5920d02ca9b030747754e4cf6aef9.png

Q、K、V究竟是何方神圣？在上文部分有提到：Q、K、V都是由原X经过某种变换所得到的，用图来表示的话，可以用下面这张图：

5fc1acaacf79f84fa91a9148ddc141b2.png

从图中不难看出，输入X乘以Q、K、V对应的W权值矩阵，就可以得到我们想要的Q、K、V

注意：此处的Q、K、V仅局限于后续Encoder和Decoder在各自输入部分的编码过程，Encoder和Decoder之间交互的Q、K和V并非此（后文会进行详细介绍）
补充：最开始的W权值矩阵需要初始化，在后续BP的过程中，W的具体数值会不断更新学习，这样做的好处不仅仅是可以提高模型的非线性程度，还能提高模型拟合能力，通过不断学习让注意力权值正确分布

公式中还在送入softmax前对权值矩阵乘以一个dk^(-1/2)（dk代表K的维度，同样的有dq、dv），这样做显然是对原权值矩阵做了一次缩放，这样做的意义是什么？

如果我们在计算X*X^T完毕后，矩阵中元素的方差很大，这就会使得softmax的分布变得极其陡峭，从而影响梯度稳定计算，此时我们进行一次缩放，再将方差缩放到1，softmax的分布变得平缓稳定起来，进而在之后的训练过程中保持梯度稳定。

至此self-attention的部分已经讲解完毕，接下来我们回到transformer中，一起来庖丁解牛。

二、Transformer部分

2.1 整体结构

首先来纵观transformer整体结构（左半部分是encode，右半部分是decode）：

698af2e61428fd8f5444b2db85fcbabc.png
Transformer模型结构

2.2 encoder

首先分析左半部分，从下往上看inputs即为我们输入的字符串序列，此时在计算前我们要对输入序列进行如图所示的Input Embedding，此处即为上文self-attention中的语义信息转换，把输入的每个词转换为对应的词向量

同时transformer在embedding部分增加了位置编码，其位置计算公式为：

151f3dfb730230730803a21bb5d91fad.png
pos 指当前词在句子中的位置， 是指向量中每个值的 下标（索引）；不难看出在偶数位置，使用正弦编码，在奇数位置，使用余弦编码；最终输出我们想要的位置向量

此处可以用一张图来表示：

2b5f03eca024f279cc2d4df9c836368f.png

接着回到transformer模型结构图，从左半部分继续向上看，来到了Encoder部分，左侧有一个 ×N 即多个encode叠加，右侧同理

顺着线路向上看，输入的一条路（一个词向量）分成三路（分别对应Q、K、V）进入了Multi-Head Attention层，同时输入的一条路增加了一个残差连接，通过简单的Add操作与Multi-Head Attention层相作用，同时在进入下一层前还进行BN层归一化

2.3 Multi-Head Attention层

那么接下来我们就一起解析Multi-Head Attention层，其具体结构如下：

de1e4d2db1136dde455318e7a63e2dd4.png

从图中可以看出Q、K、V首先经过了一个Linear层做线性变换，接着进入到了Scaled Dot-Product Attention层，接下来我们对Scaled Dot-Product Attention层展开详细分析：

对于Linear的理解，拿文中的话来说就是作者发现将Q、K、V经过一个线性层的学习是非常有益的

2.4 Scaled Dot-Product Attention层

先上图：

3e3e892f44b3c83fa66640382e384e78.png

从下往上看，Q和K经过MatMul层做矩阵相乘（即上文self-attention部分提到的X*X^T）,接着来到Scale层进行维度缩放（即上文self-attention部分提到的乘以dk^(-1/2))（注意这里的Mask是后续在decder部分需要使用的操作，encoder部分并没有，此层在这里跳过）。最终我们经过softmax得到的权值矩阵与V相乘，得到最终的输出。接着回到Multi-Head Attention图，我们可以看到在最终Linear输出前有h次同样的操作，那么这个h就对应着标题“多头”，h是几个头就是几个。

为什么要这样操作呢？

论文中提到这样的好处是可以允许模型在不同的表示子空间里学习到相关的信息。换个方式理解，我们可以类比CNN中同时使用多个滤波器的作用，我们想让模型学习全方位、多层次、多角度的信息，学习更丰富的信息特征，就要使用多头来完成。举个例子来说，我们在阅读文献的时候，总是对文献的摘要注意颇多，同时我们还对文献中的实验数据、实验结论想要有所了解，一般到最后才是文献的方法部分以及一些公式，这么一套流程下来我们对文献整体有了更丰富的掌握，那么“多头”即可类比于此（尽管有些许勉强）。

在Multi-Head Attention层得到最终的输出结果后，我们来到了Feed Forward层（见图4），同时还有一个一样的残差连接与层归一化处理。那么Feed Forward层的作用是什么呢？

细读文章可以发现，所谓Feed Forward即一个普通MLP结构，即全连接1 -> Relu -> dropout -> 全连接2，拿文中的公式表述为：

5755fc1f4c4b9441cea7dc0c3f62d39f.png

添加这一层的目的也是为了增加模型的非线性表达能力，提高模型拟合程度。

2.5 decoder

至此左半部分的encode讲解完毕，第N个encoder输出的K、V与decode部分进行交互，但我们先从decoder部分的下方输入开始看起（这里再把图拿过来）：

a777f196d6fb4f60e3c27555af3c5125.png

从下往上看，Outputs是我们模型上一次的预测结果+shifted right，关于shifted right的讲解我们放在文末。输入的序列经过了和左半部分同样的操作，即语义信息编码+位置信息编码，但在分成三路后进入的却是一个Masked Multi-Head Attention，比左半部分多了一个Mask，那么接下来我们就详细分析一下这个Mask的具体内容：

2.6 Mask

transformer的注意力计算我们已经熟悉，需要注意的是在训练阶段中，Decoder部分输入的数据是一整句，句中包含了等待被预测的后续的序列信息，我们不希望这样的情况发生，所以加入Mask操作来把那些不希望出现的信息掩盖

那么如何实现Mask？

只需要初始化一个下三角矩阵为0，上三角元素均为负无穷的矩阵加到注意力矩阵上，因为注意力需要经过softmax进行归一化，其中e^- outside_default.png 为0，因此可以将未来信息抹去。

3cc3c6431d2708a3f88491a530562046.png 1ac5b0e49ed4f4096cd48f109847481a.png

Masked Multi-Head Attention层的输出经过add&BN后与encoder部分输入的K、V交汇在一起，来到了一个和左半部分一样的Multi-Head Attention + Feed Forward层，decoder部分同样重复迭代N次，最终送入Linear层做最后的softmax计算，输出我们的预测值。

2.7 关于decoder的输入（包括shifted right）讲解：

一般训练阶段的Decoder第一次输入为起始符 + Positional Encoding，也可能是其他特殊的Token，目的是为了预测目标序列的第一个单词是什么。

de9ea34d13e6bf40e533344680a22c07.png

我们将原输入序列中的对应词整体右移一位（shifted right），即得到了起始符+embedding的输入，对上图进行更为详细的描述，即：

184d1be49795edb32ed41e642ec29487.png

由图中可以看出上文所述“Outputs是我们模型上一次的预测结果+shifted right”

三、The end

后期会对transformer代码进行详细的分析，笔者才学浅陋，初步接触机器学习，难免有诸多错误与遗漏，恳请广大读者不吝指教！

https://arxiv.org/pdf/1706.03762.pdf

——The  End——

猜您喜欢：

等你着陆！【GAN生成对抗网络】知识星球！

CVPR 2021 人脸编辑GAN汇总

CVPR 2021专题1：GAN的改进

CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总

CVPR 2021 | 图像转换 今如何？几篇GAN论文

【CVPR 2021】通过GAN提升人脸识别的遗留难题

CVPR 2021生成对抗网络GAN部分论文汇总

经典GAN不得不读：StyleGAN

最新最全20篇！基于 StyleGAN 改进或应用相关论文

超100篇！CVPR 2020最全GAN论文梳理汇总！

附下载 | 《Python进阶》中文版

附下载 | 经典《Think Python》中文版

附下载 | 《Pytorch模型训练实用教程》

附下载 | 最新2020李沐《动手学深度学习》

附下载 | 《可解释的机器学习》中文版

附下载 |《TensorFlow 2.0 深度学习算法实战》

附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！

附下载 |《计算机视觉中的数学方法》分享

86cdb2b568d37119fdbd0e697c1f1e14.png

机器学习与AI生成创作
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Transformer_Self-attention Modeling in Computer Vision.pdf
10-25
计算机视觉中的Transformer 在2017年谷歌设计了Transformer，并在NLP社区显示出了效果之后，有大量的工作专注于将其应用到计算机视觉社区。本文首先简要介绍了计算机视觉中的Transformer。然后，介绍了Transformer模型在低/高级视觉任务、模型压缩和主干设计方面的一些代表性工作。 曹越，现任微软亚洲研究院视觉计算组主管研究员，分别于2014年和2019年在清华大学软件学院获得本科和博士学位，曾于2017年获微软学者奖学金、2018年获清华大学特等奖学金。至今在CVPR、ICCV、ICLR、ICML、NeurIPS等国际会议和期刊中发表论文20余篇，其中有三篇入围PaperDigest Most Influential Papers榜单，谷歌引用五千余次。目前主要的研究兴趣是自监督学习、多模态学习以及自注意力建模。
self-attention-cv:专注于计算机视觉的各种自我关注机制的实现。 进行中的资料库
03-05
PyTorch中计算机视觉应用程序的自注意力构建基块 使用einsum和einops在PyTorch中实现计算机视觉的自我关注机制。 专注于计算机视觉自我注意模块。 通过pip安装 $ pip install self-attention-cv 如果您没有GPU，最好在您的环境中预安装pytorch。 相关文章 程式码范例 多头注意力 import torch from self_attention_cv import MultiHeadSelfAttention model = MultiHeadSelfAttention ( dim = 64 ) x = torch . rand ( 16 , 10 , 64 ) # [batch, tokens, dim] mask = torch . zeros ( 10 , 10 ) # tokens X tokens mask [ 5 :
Transformer之self-attention
wangyifan123456zz的博客
02-28 833
注意力是一个有助于提高神经机器翻译应用程序性能的概念。在这篇文章中，我们将看看Transformer，一个使用注意力来提高这些模型训练速度的模型。Transformer在特定任务中优于谷歌神经机器翻译模型。在这篇文章中，我们将尝试简化一些内容，并逐一介绍概念，希望能够让没有深入了解主题的人更容易理解。
详解Self-attention与Transformer1
08-03
基本layer对于输入序列的某个位置的 vector（如下图中的），Self-attention layer 首先计算它与其它其他位置的 vector 之间的相
cnn+lstm+attention对时序数据进行预测
02-18
cnn+lstm+attention对时序数据进行预测 博客链接： https://blog.csdn.net/qq_30803353/article/details/121875376 1、摘要 本文主要讲解：bilstm-cnn-attention对时序数据进行预测 主要思路： 对时序数据进行分块，生成三维时序数据块 建立模型，卷积层-bilstm层-attention按顺序建立，attention层可放中间也可放前面，效果各不相同 训练模型，使用训练好的模型进行预测 调参优化，保存模型 2、数据介绍 需要数据和数据介绍请私聊，评论区可以找到我的球球 3、相关技术 BiLSTM：前向和方向的两条LSTM网络，被称为双向LSTM，也叫BiLSTM。其思想是将同一个输入序列分别接入向前和先后的两个LSTM中，然后将两个网络的隐含层连在一起，共同接入到输出层进行预测。 attention注意力机制 一维卷积 cnn+lstm+attention 网络结构图 RNN-＞LSTM-＞BiLSTM神经网络结构 注意力机制----transformer中注意力机制 使用Python和Kera
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的Encoder-Decoder模型。从X翻译到Y。 但是这种方式是基于RNN模型，存在两个问题。 一是RNN存在梯度消失的问题。（LSTM/GRU只是缓解这个问题） 二是RNN 有时间上的方向性，不能用于并行操作。Transformer 摆脱了RNN这种问题。 2.Transformer 的整体框架 输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
transformer 模型（self-attention自注意力）
热门推荐
ChihkAnchor的博客
01-08 7万+
transformer模型在《Attention is all you need》论文中提出 这篇论文主要亮点在于：1）不同于以往主流机器翻译使用基于RNN的seq2seq模型框架，该论文用attention机制代替了RNN搭建了整个模型框架。2）提出了多头注意力（Multi-headed attention）机制方法，在编码器和解码器中大量的使用了多头自注意力机制（Multi-headed s...
【Transformer】自注意力机制Self-Attention ｜ 各种网络归一化Normalization
RickieLim的博客
08-08 2519
Transformer是一个sequence-to-sequence。也就是input和output都是sequence。而output的sequence，可以是定长的，也可以是和input一样长的，也可能是我们不知道有多长的需要机器自己判别的。例如：语音辨识，声音讯号–>文本，这个场景下的output就是机器自己决定的。机器翻译同理。文本 & 声音讯号互转 案例：中文文字---->台语/闽南语点击精准空降。
【自然语言处理】self-attention和Transformer的详解
qq_45792472的博客
11-22 2423
本文主要对李宏毅机器学习的课程进行了简单的总结。首先是解释了self-attention自注意力机制的原理，还有multi-head attention多头注意力机制、masked multi-head attention掩膜多头注意力机制，自注意力机制和CNN、RNN的区别。其次是解释了Transformer的原理，包括encoder、decoder的流程。最后介绍了AT、NAT的区别，copy mechanism，guided mechanism，beam search等。
【深度学习】04-02-自注意力机制多种变形-李宏毅老师21&22深度学习课程笔记
星辰不问
08-23 1374
【深度学习】05-02-自注意力机制多种变形-李宏毅老师21&22深度学习课程笔记
Swin-Transformer+gradcam可视化代码+Windows环境.zip
01-18
Swin-Transformer+gradcam可视化代码+Windows环境
自注意力机制 Self-Attention与Transformer的原理及结构（编码器、解码器的原理及代码实现）
forthenight996的博客
08-30 4288
自注意力机制 Self-Attention与Transformer的原理及结构（编码器、解码器的原理及代码实现）
Transfomer编码器中自注意力机制、前馈网络层、叠加和归一组件等讲解（图文解释）
沧海之巅的专栏
06-03 1974
Transformer中的编码器不止一个，而是由一组N个编码器串联而成，一个编码的输出作为下一个编码器的输入，如下图所示，每一个编码器都从下方接收数据，再输出给上方，以此类推，原句中的特征会由最后一个编码器输出，编码器模块的主要功能就是提取原句中的特征。以上句为例，我们的模型首先需要计算出单词A的特征值，其次计算dog的特征值，以此类推，当计算每个词的特征值时，模型都需要遍历每个词与句子中其他词的关系，模型可以通过词与词之间的关系来更好的理解当前词的意思。自注意力机制有助于解决这个问题。
通俗理解Transformer（自注意力, self-attention)
Hayreen的博客
09-01 3383
谷歌在2017年发表了一篇论文《Attention Is All You Need》，论文中提出了transformer模型，其核心就是self-attention的架构，这一突破性成果不仅洗遍了NLP的任务，也在CV中取得了非常好的效果，有大道至简的感觉。本文通过一个通俗易懂的例子[1]来介绍self-attention。 文章首发个人博客。 （注：本文例子完全来在参考文章，包括文章的gif动图，感谢作者的文章） 介绍 接下来将通过一下几个步骤来介绍： 预处理输入数据 初始化权重 计算key，
【Transformer系列】深入浅出理解Attention注意力和Self-Attention自注意力机制
IT菜鸟
09-13 1096
【Transformer系列】深入浅出理解Attention注意力和Self-Attention自注意力机制
Bert基础解读(一)—— transformer之attention机制（self-attention）看不明白你打我
qq_31402749的博客
11-10 4176
1.self-attention 在之前处理序列问题的时候，用的是rnn，现在我们把rnn层换成self-attention层。 图1 任何用rnn的都可以被替换成self-attention层标题那么具体是怎么做的呢？我们首先以上图为例讲解。 a1,a2,a3,a4是一个sequence(序列)，我们首先为每一个input a1,a2,a3,a4 乘以一个矩阵，通过embedding...
Transformer中Self-Attention的详细解读
最新发布
牧羊女
03-08 724
对Transformer中Self-attention的详细解读
Transformer+self-attention超详解（亦个人心得）
weixin_40920183的博客
11-30 985
来源：https://zhuanlan.zhihu.com/p/432814387作者：Ziyang Li 来自东北电力大学，机器人工程专业本文仅作学术分享，著作权归属作者，侵删最近刚开始...
self-attention机制详解
04-20
好的，我可以解答 self-attention 机制的相关问题。Self-attention 是一种机制，它能够在一个序列中计算出各个元素之间的关联性，并根据关联性对每个元素进行加权，进而计算出序列的表示。Self-attention 主要应用于自然语言处理领域的模型，比如 Transformer。在自然语言处理任务中，Token 表示一个序列中的单个词或子词，Self-attention 机制可以帮助模型更好地理解文本中词汇之间的关系，从而提高模型的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值