【深度学习模型】Transfomer以及Self-Attention讲解

已于 2022-06-23 19:31:00 修改
阅读量748 收藏 2
点赞数
文章标签： 深度学习 机器学习 自然语言处理
于 2022-06-23 17:30:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tobefans/article/details/125430974
版权

文章目录

前言

这一篇主要讲解谷歌发表的Attention Is All You Need。这篇论文提出了驰名的一种注意力机制 —— self-attention 模块，并进一步提出了 Transformer 架构，从而将以往用的计算代价较大的RNN替换掉了。目前，nlp任务中效果非常好的BERT模型就是大量应用了Transformer架构的Encoder。

下边是一个很好的使用Transformer进行机器翻译任务的例子。在预测过程中，编码阶段，输入的“I arrived at the”中的每个单词都会计算与所有单词的注意力权重，并加权求和得出新的自己的表示，逐层编码。解码阶段，输入由encoder出来的所有单词的表示和上一个位置输出的embedding，经过类似的注意力操作得到这一个位置的输出，是一种随着预测位置移动的迭代过程。
戳我看例子

1. 总体框架与流程

1.1 框架

对照着以上例子，看下边的Transfomer总体框架图。左边为编码器，右边为解码器。编码器和解码器中都包含了Positional Encoding模块，Multi-Head Attention模块，Feed-Forward模块。下一章节会对此着重讲解。
在这里插入图片描述

1.2 流程

定义一下符号。

  • emb_dim：嵌入的尺寸
  • input_length：输入序列的长度
  • target_length：目标序列的长度+1。+1是因为要移位。
  • vocab_size：目标词汇表中的单词数量。
    则Transformer的流程可表示为：
  1. 该模型将每个token表示为维度emb_dim的向量。然后，对于特定的输入序列，我们有了尺寸为（input_length）x（emb_dimb）的矩阵。
  2. 然后添加位置信息（位置编码）。与上一步一样，此步骤将返回尺寸为（input_length）x（emb_dim）的矩阵。
  3. 数据通过N=6个编码器块。之后，我们获得尺寸为（input_length）x（emb_dim）的矩阵。
  4. 目标序列经过等同于1和2的操作，并进行mask屏蔽。输出的尺寸为（target_length）x（emb_dim）。
  5. 4的结果经过N=6个解码器块。在每个迭代中，解码器都使用编码器的输出3）。这在总框图中由从编码器到解码器的箭头表示。输出的尺寸为（target_length）x（emb_dim）。
  6. 最后，逐行使用全连接层和softmax。输出的尺寸为（target_length）x（vocab_size）。

在这里插入图片描述
编码器对于训练阶段和测试阶段是一样的编码过程，而解码器的流程则有所不同，因此先讲解一下解码器的训练和测试。
在测试阶段，由于没有groundtruth，所以我们需要从零开始不断迭代一个词一个词地生成。具体操作如下：

  1. 计算输入序列的嵌入表示。
  2. 使用起始token例如’‘，作为第一个目标序列。该模型将预测输出一个token。
  3. 将最后一个预测token添加到目标序列，并使用它生成新的预测。
  4. 重复执行步骤3，每次的输入token和输出token都增加，直到预测的token是表示序列结束的token，例如。
    在训练阶段中，由于我们事先有roundtruth，因此我们将直接为模型提供整个已移位目标序列，并要求其预测未移位目标。
    举个例子，目标是将句子从英语翻译成西班牙语：
    X = [‘Hello’，’，’，’how’，’are’，’you’，’？’]（输入序列）
    Y = [‘Hola’，’，’，’como’，’estas’， ‘？’]（目标序列）
    在前面的示例之后，我们将给解码器输入：
    [‘‘，’Hola’，’，’，’como’，’estas’，’？’]
    预期的预测将是：
    [‘Hola’，’，’，’como’，’estas’，’？’，’‘]

因此可以看到，解码器在训练时直接从target_length->target_length，而测试时则是从1->1 2->2 3->3 … target_length->target_length的过程，最后预测的是每次迭代中最后一个预测的token串联起来。

2. 模块细节

2.1 Positional Encoding

Transformer抛弃了RNN，而RNN最大的优点就是在时间序列上对数据的抽象，所以文章中作者提出两种Positional Encoding的方法，将encoding后的数据与embedding数据求和，加入了相对位置信息。

  • 用不同频率的sine和cosine函数直接计算
  • 学习出一份positional embedding
    实验后发现两者结果一样，所以用了第一种方法，优点是不需要训练参数，而且即使在训练集中没有出现过的句子长度上也能用
    在这里插入图片描述
    对于输入序列，经过word embedding后，加上positional embedding后即可得到该序列的 representation，序列中的每个token都转换成包含 word 的特征和 word 在句子中的位置信息的向量。

2.2 Multi-Head Attention

Multi-Head Attention其实就是多个Self-Attention结构的结合。因此，首先我们需要着重学习论文的重点Self-Attention。

2.3 Self-Attention

从一个比较知名的例子讲起。
假如我们要翻译一个词组Thinking Machines，其中Thinking的输入的embedding vector用x1表示，Machines的embedding vector用x2表示。当我们处理Thinking这个词时，我们需要计算句子中所有词与它的Attention Score，这就像将当前词作为搜索的query，去和句子中所有词（包含该词本身）的key去匹配（点乘），看看相关度有多高。相关度进行尺度缩放与softmax归一化可以得到注意力权重，注意力与相应的value加权求和就得到新的表达。
在这里插入图片描述
如果将输入的所有向量合并为矩阵形式，则所有query, key, value向量也可以合并为矩阵形式表示

在这里插入图片描述
则上述操作可简化为矩阵形式
在这里插入图片描述
这就是著名的注意力公式：
在这里插入图片描述

2.4 Multi-Head Attention

基于上边的Self-Attention， 我们进一步拓展，对输入序列使用不同的Q，K，V进行多次以上操作，而后拼接起来，再转换成最终的表示。这样每个head可以学习到在不同表示空间中的特征。
在这里插入图片描述
可视化如下：
在这里插入图片描述

2.5 Masked Multi-Head Attention

在训练过程的解码器中，需要对输入的注意力矩阵（即上边QK经过softmax的矩阵）进行masked操作，从而不给模型看见未来信息，解决了信息泄露问题。举例来说，对于目标序列（I have a dream），I作为第一个单词，只能有和自身的attention。have作为第二个单词，有和I, have 两个attention。 a 作为第三个单词，有和I,have,a 前面三个单词的attention。到了最后一个单词dream的时候，才有对整个句子4个单词的attention。
在这里插入图片描述
其它操作和上述的Multi-Head Attention一致。

2.6 Encoder-Decoder Multi-Head Attention

在解码器的第二层attention里，需要整合encoder的输入序列和decoder的目标序列的信息，算出相互之间的注意力。与Multi-Head Attention的不同点在于，Encoder-Decoder Multi-Head Attention的Q矩阵来自decoder，而K和V来自encoder。其实也很好理解，就是注意力矩阵是由来自解码器的Query和来自编码器的Key之间计算得来，其它操作都相同。

2.7 Feed-Forward

这个就很简单了，就是简单的映射层。
在这里插入图片描述

2.8 Produce Output Probabilities

这个其实也是普通的映射层，它将每一个目标序列的token由emb_dim映射到vocab_size，因此就可得到各个token，串成目标序列了。

3. 总结

不得不说，这确实是一篇很经典的论文，将seq2seq模型推到了一个新高度，避免了RNN的大量计算代价，从此用CNN操作序列信号就有很好的效果了。另外，Self-Attention还跨界在cv行业也有了非常多的研究。可以说cv和nlp是同源的，只需要将图像的长宽拉成一列（空间信息）类比成序列信号的序列，图像的通道类比成序列信号的embedding即可。因此，Self-Attention模块的输入在nlp上是time × embedding，在cv上是spatial × channel。此外，当下横扫nlp的BERT模型也是基于Transfomer的encoder，这也表明这个模型的重要性了。

参考文献

https://medium.com/dissecting-bert/dissecting-bert-appendix-the-decoder-3b86f66b0e5f
https://zhuanlan.zhihu.com/p/80986272
https://zhuanlan.zhihu.com/p/44121378
https://zhuanlan.zhihu.com/p/39034683
https://zhuanlan.zhihu.com/p/47282410

weiquan fan
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Transformer_Self-attention Modeling in Computer Vision.pdf
10-25
计算机视觉中的Transformer 在2017年谷歌设计了Transformer，并在NLP社区显示出了效果之后，有大量的工作专注于将其应用到计算机视觉社区。...目前主要的研究兴趣是自监督学习、多模态学习以及自注意力建模。
（深度学习）Self-attention
KNIGHT_HOY的博客
03-24 1472
文章目录self-attention三种seq输入输出类型Each vector has a labelSelf-attention得到一个seq输出过程上述矩阵化Multi-head Seft-attentionposition encodingApplication self-attention 三种seq输入输出类型 Each vector has a label Sequence labeling 如果但考虑一个vector 那机器没办法给同样的vector两个不同的label 比如说
深度学习笔记-self-attention
qq_46460131的博客
10-27 590
注意力机制
收藏！各种各样神奇的自注意力机制（Self-attention）
Kaiyuan_sjtu的博客
10-25 558
作者|谢博士整理|PaperWeekly总结下关于李宏毅老师在 2022 年春季机器学习课程中关于各种注意力机制介绍的主要内容，也是相对于 2021 年课程的补充内容。参考视频见：https://www.bilibili.com/video/BV1Wv411h7kN/?p=51&vd_source=eaef25ec79a284858ac2a990307e06ae在 2021 年课...
深度学习（十五）self-attention
qq_43533956的博客
05-25 433
李宏毅老师课程链接 对于seq2seq的问题，可以选择用RNN或者CNN来解决，但是RNN无法做到平行的处理一个序列，也很难处理一个很长的序列。而CNN则需要多层才能看到比较多的信息。 而self-attention可以解决这些问题。 构建self-attention，首先将输入x转化成a，再把a分别转化成q,k,v，分别是匹配项，被匹配项和提炼信息。 将1个q和每个k一次做attention计算（点乘除以维数的根）得到a1i 然后把所有a1i做一次softmax。 把每个结果乘上vi，再把所有乘积
Self-attention module详解
Harry_Jack的博客
10-27 1040
Self-attention module详解 1. Data Input and Output 生活中解决实际问题时，可能会遇到一组向量作为输入的情况，这种输入情况称作为Vector Set as Input。这类问题常常出现在文本翻译，语音识别，图(Graph)分析中。 那么这类问题的输出，就是一组或一个label，根据输出label个数不同可以分为以下三类： 情况1. 每个向量都会有一个label #mermaid-svg-mEw8QuMFHSjtd3JG .label{font-family:'tr
基于LSTM与Transfomer的股票预测模型（Python完整源码）
最新发布
10-09
基于LSTM与Transfomer的股票预测模型（Python完整源码） 股票行情是引导交易市场变化的一大重要因素，若能够掌握股票行情的走势，则对于个人和企业的投资都有巨大的帮助。然而，股票走势会受到多方因素的影响，因此...
快速上手Transfomer全套资料-为 Jax、PyTorch 和 TensorFlow 打造的先进的自然语言处理
05-11
Transformers 提供了数以千计的预训练模型，支持 100 ...Transformers 支持三个最热门的深度学习库： Jax, PyTorch and TensorFlow — 并与之无缝整合。你可以直接使用一个框架训练你的模型然后用另一个加载和推理。
sentence-transformers/allenai-specter 模型
06-28
可用于语义聚合任务中的文本编码器，它将句子和段落映射到 768 维密集向量空间，是 sentence_transformers 库的模型之一，官网下载速度缓慢，容易被墙，下载解压后，可以参考此文章进行模型本地加载 ...
CLIEN Transfomer [beta]-crx插件
04-02
语言:한국어 气候更美丽！ 通过ioot Clien变压器装饰更美妙。Clien变压器。 使用流式布局，您可以自由地使用窗口大小至600至1280像素。 安装后，单击Clive图标以添加立即打开新选项卡的功能。...
Transformer（self attention）超详解&示例代码
热门推荐
weixin_39228381的博客
09-28 1万+
说明 attention机制（注意力机制）有效解决了RNN网络对长序列编码效果差的问题。但是attention机制是对RNN网络编码后的特征序列进行打分，如果输入序列长度是30（即输入30个连续的原始特征），则RNN网络会编码出30个编码后的特征。在解码时，每解码一次，都会对这30个编码后的特征进行打分求和，结果作为输入传给解码器。 既然每次都是对全部编码后的特征进行打分，即每次解码都使用了全部信息，那么可不可以不使用编码后的特征，直接对原始特征进行打分呢，答案是可以的，即self attention。
Transfomer
zhaohui blog
08-14 470
整理 Shusen Wang 的视频 《 transformer 模型 》笔记
transfomer
weixin_43402147的博客
02-25 407
Transformer 下图展示了Transformer模型的架构，与seq2seq模型相似，Transformer同样基于编码器-解码器架构，其区别主要在于以下三点： 1.Transformer blocks：将seq2seq模型重的循环网络替换为了Transformer Blocks，该模块包含一个多头注意力层（Multi-head Attention Layers）以及两个position-...
Self-attention模块学习记录（附代码复现）
Blossomers的博客
05-02 2834
尝试一下以问答的形式，阐述自己对自注意力模型的理解。 1、self-attention模块，输入与输出在通道数上是相同的，如何理解？ 这是由模块的计算方式所决定的。 首先需要弄清楚的是，模块的输入可以看作是一个句子里的各个词组，比如说I love eating apples. 那输入就包括这四个单词，以及句子的结束标志'.' 经过embedding得到的特征向量。输出的是这个词组与其他词组的关联程度，也就是Z向量。从直观上看，这两者都是围绕着“一个词”所做的编码工作，那么在通道数目上自然是会相等的
通过7个版本的attention的变形，搞懂transformer多头注意力机制
人工智能研究所的博客
10-23 859
我们可以考虑使用logits的方法来进行softmax操作，这样我们就得到了数据的交叉熵，softmax的错误输出，将会被反向传播，那么就跟我们以上得到的数据，经过softmax后，只存在一个数据为1的值，其他地方全部是0 ，那么数据为1的值会被神经网络反向传播，而其他地方的数据并不会得到训练，这样就产生了梯度消失的问题。为了直觉的理解注意力，我们从输入矩阵X与查询矩阵Q开始，我们来计算输入矩阵与查询矩阵的相似度，得到相似度分数后，我们将输入矩阵转换为输出向量，输出向量是输入矩阵的加权求和。
transformer(一)注意力机制
fanre的专栏
05-08 856
20210625；短教程：《Transformers》；特邀讲师：邱锡鹏教授_哔哩哔哩_bilibili 神经网络与深度学习 https://nndl.github.io/ppt/chap-%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E4%B8%8E%E5%A4%96%E9%83%A8%E8%AE%B0%E5%BF%86.pptx 超详细图解Self-Attention - 知乎 扒源码：跳出self-attention看多头点积注意力 - 知乎 h
从零开始快速入门Transformer注意力机制
感谢一切无私开源共享奉献者！
11-27 2309
1 目的 本文提供相关视频和笔记，以便初学者快速入门Transformer注意力机制。 2 基础模块 2.1 基本公式 Transformer的常见基本公式为 Attention(X)=Attention(Q=WqX,K=WkX,V=WvV)=softmax(QKTdk)V， \mathsf{Attention}(X) = \mathsf{Attention}(Q=W_qX, K=W_kX, V=W_vV) = \mathsf{softmax}(\frac{QK^T}{\sqrt{d_k}})V， Atte
self-attention（transformer）
qq_54809548的博客
06-21 823
在传统的CNN中，都是对感受野内部的事情进行关联后理解。感受野实际上关乎了模型对全局信息的理解。而本质上，感受野是一种特殊的注意力机制，也就是说感受野是一种受限的、具有特定参数的注意力。之前的内容如DANet，则更加接近广义的注意力机制。在这种机制的作用下，，通过注意力权重矩阵，对图像中全局的信息进行提取和理解。而《attention is all your need》这篇文章中，提出了一种全新的注意力机制，其意义在于：1. 从原理上解释了CNN和RNN的一般形式。
Transfomer编码器中自注意力机制、前馈网络层、叠加和归一组件等讲解（图文解释）
showswoller的博客
03-25 9145
Transfomer编码器中自注意力机制、前馈网络层、叠加和归一组件等讲解（图文解释）
transfomer模型
06-12
Transformer 模型是一种基于 self-attention 机制的深度神经网络模型，最初由 Google 提出，用于自然语言处理任务，如机器翻译、文本摘要、问答系统等。它的主要优势在于能够更好地处理长序列数据，避免了传统循环神经网络中的梯度消失或梯度爆炸等问题。 在 Transformer 模型中，输入序列和输出序列之间没有明确的区分，都被视为 token 序列，并通过多层 self-attention 和全连接层来进行编码和解码。其中 self-attention 机制允许模型自动地选择输入序列中与当前 token 最相关的其他 token 进行加权计算，从而获取更好的上下文信息。 Transformer 模型的一个重要变体是 GPT（Generative Pre-trained Transformer），是一个基于 Transformer 模型的预训练语言模型，能够生成连贯的自然语言文本。GPT 在自然语言处理领域已经取得了很大的成功，并被广泛应用于各种任务中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值