【NLP】谈谈Transformer

最新推荐文章于 2024-09-29 16:24:03 发布
最新推荐文章于 2024-09-29 16:24:03 发布
阅读量648 收藏
点赞数 2
分类专栏： NLP 文章标签： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wjn922/article/details/102077514
版权

文章目录

一. 从RNN到Transformer

文字数据由于天然具有序列特性，与图像数据是不同的，因此最初的特征提取器（类似于图像中的CNN）采用了RNN结构：
在这里插入图片描述
对RNN有一定了解的话，就会知道RNN的两个明显问题：

  • 效率问题：需要逐个词进行处理，后一个词要等到前一个词的隐状态输出以后才能开始处理，因此无法并行处理
  • 如果传递距离过长还会有梯度消失、梯度爆炸和遗忘问题

为了解决第二个问题，就需要在RNN的隐层里设计各种门结构，代表作有：

  • LSTM
    在这里插入图片描述
  • GRU
    在这里插入图片描述

但是上述第一个问题依旧无法解决。终于，2017年Google在神作《Attention is all you need》提出了Transformer结构，后来出世的Bert模型（类比于CV中的Resnet）正是采用Transformer作为特征提取器在NLP11项任务上取得了SOTA效果，一举让RNN结构成为历史。

Transfromer是一个N进N出的结构，也就是说每个Transformer单元相当于一层的RNN层，接收一整个句子所有词作为输入，然后为句子中的每个词都做出一个输出。但是与RNN不同的是，Transformer能够同时处理句子中的所有词，并且任意两个词之间的操作距离都是1，这么一来就很好地解决了上面提到的RNN的效率问题和距离问题。（这是什么鬼？！看下面Transformer结构…）

二. 解析Transformer

2.1 Transformer结构

宏观层面

Transformer本质上是一个Encoder-Decoder结构：
在这里插入图片描述

如论文中所设置的，编码器由6个编码block组成，同样解码器是6个解码block组成，每个block结构相同，但不共享参数。与所有的生成模型相同的是，编码器的输出会作为解码器的输入，如图所示：
在这里插入图片描述

微观层面

Ok，我们再来看一下每个encoder和decoder内部长什么样：

在这里插入图片描述
定义输入序列首先经过 word embedding，再和 positional encoding 相加后，输入到 encoder 中。输出序列经过的处理和输入序列一样，然后输入到 decoder。

最后，decoder 的输出经过一个线性层，再接 Softmax。

（是不是看起来很可怕？）不着急，后面会具体解析每个模块，现在先在脑子里先记住几个重要的单词！！！

  • Self-attention
  • Feed forward
  • Add&Norm

记好了下面就开始了：

encoder
encoder由 6 层相同的层组成，每一层分别由两部分组成：

  • 第一部分是 multi-head self-attention
  • 第二部分是 position-wise feed-forward network，是一个全连接层

两个部分，都有一个残差连接(residual connection)，然后接着一个 Layer Normalization。

decoder

和 encoder 类似，decoder 也是由6个相同的层组成，每一个层包括以下3个部分:

  • 第一个部分是 multi-head self-attention mechanism
  • 第二部分是 multi-head context-attention mechanism
  • 第三部分是一个 position-wise feed-forward network

和 encoder 一样，上面三个部分的每一个部分，都有一个残差连接，后接一个 Layer Normalization。

decoder 和 encoder 不同的地方在 multi-head context-attention mechanism。

2.2 Attention

Transformer堪称把attention发挥到了极致，本节讲讲multi-head self-attention模块。

2.2.1 self-attention是什么

直观表示

在这里插入图片描述

如上图所示，我们想知道句子中的"it"是指什么，“animal”, “street” 或者其他单词，很显然，这里"it"指的就是"animal”，所以"it"会将更多的attention放在单词"animal"上。也就是说，"it"对于"animal"的权重是最大的。

个人理解，self-attention就是算出每个词对于这个词的权重，然后将这个词表示为所有词的加权和。

数学表示

为了求出这个权重大小，论文中给出了名为Scaled Dot-Product Attention的操作：
在这里插入图片描述

首先对于每个输入的embedding词向量x（论文中设为512维），利用线性变化矩阵Wq, Wk, Wv, 生成三个向量q(query), k(key), v(value)， 论文中每个向量均为64维。

对于每一个词，为句子中的每个词计算一个score： score = qi . kj；

之后再对每个score除以 sqrt(dk)进行归一化，再计算其 softmax输出 score；

对于每个 value 向量的 score 加权和即为 当前词的attention输出。

在这里插入图片描述

利用向量表示为：

在这里插入图片描述

2.2.2 Multi-head Attention

这个模块即是将各个 self-attention模块的输出concat起来后再做一个线性变换。
在这里插入图片描述
公式表示为：
在这里插入图片描述
在这里插入图片描述

论文中 h取为8， 采用multi-head的优点为：

  • 扩展模型能力可以注意到不同位置，一个注意力模型的关注点也许是错的，通过多个注意力模型可以提高这种泛化能力；
  • 使得注意力层具有多个表示子空间，比如说上文的8个注意力模型，经过训练后，我们就可以将输入的词嵌入映射到8个不同的表示子空间；

2.3 Position-wise Feed Forward Network

对于每一个词，经过Attention模块化后输出一个向量Z， 将其输入一个全连接网络，即这里的前馈网络。论文中，输入和输出向量维数为512，中间层维数为2048.
在这里插入图片描述

2.4 Layer Normalization

我们发现Attention层和FFN层都会接一个Add&Norm，即残差模块。我们希望数据能够归一化为均值为0，方差为1，从而更好的训练。这里LN和著名的BN区别看这里。
在这里插入图片描述

2.5 Decoder

在这里插入图片描述

各个主要模块已经介绍完了，我们现在再来看看Decoder和Encoder有什么区别。

2.5.1 Encoder-Decoder Attention

我们看一下上面的图，解码器的顶层输出中，然后我们需要的是一组attention的集合（K,V）。（K,V）将代入每个Decoder的“encoder-decoder attention”层中去计算（这样有助于decoder捕获输入序列的位置信息）。也就是说，在解码器的Encoder-Decoder Attention模块，K,V 来自于编码器顶层，Q来自于上个解码器的输出。

在这里插入图片描述

2.5.2 Mask Multi-head Attention

与编码过程不同，解码过程是一个顺序操作的过程，也就是当解码第k个特征向量时，我们只能看到第k-1个向量及其之前的解码结果，每个底端解码器的输入为上一个时刻的输出再加上位置编码（后面会讲）。因此在Attention模块需要加上一个Mask操作，操作也很简单，在self-attention的softmax操作之前与上一个下三角阵即可。

下三角部分（包括对角线为1），上三角部分为0。则上三角部分为被mask掉的地方。
因为对于矩阵中的一个元素x, 与mask矩阵操作后成为 x-(1-m)*inf。

在这里插入图片描述

2.6 Embedding and Softmax

Linear层就是一个全连接网络，作用是把decoder输出的向量映射到一个大很多的logits 向量上。

比如模型从训练集中学会10,000个英文单词，那么logits vector就是10000维的，每一维对应一个词，记过softmax计算后输出分数最高的那个词就是这一步的输出。

在这里插入图片描述

2.7 Positional Embedding

Transformer的结构介绍完了，我们再回到最开始，Transformer本身没有捕捉序列的能力，也就是说对于每个单词Transformer都同等对待。为了解决这个问题，我们就需要对输入的词向量再加上一个位置编码。

在这里插入图片描述
文中给出了编码公式为：
在这里插入图片描述

其中 pos 是单词位置， i 为维数。

3 总结

代码可以参考 这里 和 这里
最后引用 知乎 上的一个总结
在这里插入图片描述

Reference

wjn922
关注
专栏目录
自然语言处理(NLP)领域与AI领域的融合 Transformers and RNNs
AI天才研究院
08-07 849
近年来，在机器学习界涌现了一股“Transformer”火热潮流。它吸引人的地方不仅仅在于其独特的计算效率、对长序列建模能力等优点，更重要的是它背后的模型架构——“Attention”机制。今天，我将从理论角度阐述“Attention”机制的概念及其特性，并详细分析Google AI的最新研究成果：BERT（Bidirectional Encoder Representations from Transformers）。最后，我将简要谈谈自然语言处理(NLP)领域与AI领域的融合可能性，并给出我的建议。
自然语言处理 |Transformer详解
qqywm的博客
08-10 632
https://blog.csdn.net/sdu_hao/article/details/88328024
Transformer 模型详解
热门推荐
步入人工智能
05-29 27万+
本内容主要介绍 Transformer 模型的具体实现。
深度学习 Transformer 的位置感知的前馈网络
最新发布
2401_85325557的博客
09-29 936
Position-wise Feed-Forward Networks（位置感知的前馈网络）是 Transformer 模型中编码器（Encoder）和解码器（Decoder）的组成部分之一。在 Transformer 的每个编码器和解码器层中，自注意力（Self-Attention）层之后便是位置感知的前馈网络。
transformer的一些理解以及逐层架构剖析与pytorch代码实现
学习笔记
05-02 3182
文章目录前言一、transformer的架构二、transformer需要用到的三级部件1.词嵌入层（Embedding）2.位置编码器（PositionalEncoding）3.掩码张量生成器（subsequent_mask）4.注意力机制层（Attention）5.多头注意力机制层（MultiHeadedAttention）6.前馈全连接层（PositionwiseFeedForward）7.规范化层（LayerNorm）8.子层连接结构(SublayerConnection)三、transforme.
Transformer原理详解和代码
weixin_52862386的博客
05-29 4485
多头注意力机制是transformer的主要创新点，它摒弃了传统卷积神经网络和神经网络的思想，通过 Scaled Dot-Product Attention实现了信息交互，但一次性使用scle dot attention对计算机计算和信息交互而言效果并不好，所以对embedding向量进行映射，映射为等长的向量。Transfomrer目前的火热主要来源于其self-attention，它的设计非常符合人类，许多transformer的变体也是基于self-attention的基础上，进行各种的变换。
Transformer理解
陶将的博客
10-17 1546
Transformer 是一种著名的深度学习模型，现已经被广泛应用于自然语言处理、计算机视觉和语音处理等等各个领域。Transformer最初是作为机器翻译的序列到序列模型提出的。后来的工作表明，基于Transformer的预训练模型可以在各种任务上实现最优性能。因此，Transformer已经成为NLP中的主流架构。最近，使用Transformer来完成视觉任务成为一个新的研究方向，ViT（Vision Transformer）使用Transformer进行图像分类，DERT使用Transformer进行
谈谈基于transformer的BEV
04-01
而Transformer是一种基于自注意力机制的神经网络模型，被广泛应用于自然语言处理和计算机视觉任务中。 在基于Transformer的BEV中，首先将三维点云数据转换为BEV图像，然后使用Transformer模型对BEV图像进行处理和...
自然语言处理-大模型-LLMs-面试题
02-29
1. **什么是自然语言处理(NLP)?** - 自然语言处理是一门计算机科学领域与人工智能领域的分支学科，它研究如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。 2. **NLP的主要任务有哪些？** - ...
视觉Transformer综述
CV技术指南（微信公众号）
12-26 5520
前几日，华为诺亚，北京大学，悉尼大学共同发表了论文《A Survey on Visual Transformer》，本文针对其重点内容进行翻译概括如下。文末附论文原文和本文完整版下载方式。 导言： Transformer是一种主要基于自注意力机制的深度神经网络，最初是在自然语言处理领域中应用的。受到Transformer强大的表示能力的启发，研究人员提议将Transformer扩展到计算机视觉任务。与其他网络类型（例如卷积网络和循环网络）相比，基于Transformer的模型在各种视觉...
自然语言处理（NLP）：23 Word2Vec词向量研究以及实践
艾文
07-14 5898
本文主要同大家分享word2vec原理以及应用，通过文本相似度和新闻文本分类为案例进行展开，最后对词向量技术发展进行简述。
Transformer中的FeedForward
flyfish
03-07 745
flyfish
Transformer、多头注意力机制学习笔记：Attention is All You Need.
zcsdn1996的博客
10-22 1万+
文章目录 相关参考连接： https://blog.csdn.net/hpulfc/article/details/80448570 https://blog.csdn.net/weixin_42398658/article/details/90804173 https://blog.csdn.net/jesseyule/article/details/101633159 论文讲解： https://www.jianshu.com/p/25fc600de9fb https:..
Transformer源码详解（Pytorch版本）逐行讲解
Queen_sy的博客
11-01 2万+
下面的PAD表示填充，填充就是当句子长度不满足max_len时候，会填充pad。## 这里有两个数据进行输入，一个是enc_inputs 形状为[batch_size, src_len]，主要是作为编码段的输入，一个dec_inputs，形状为[batch_size, tgt_len]，主要是作为解码端的输入。一定需要注意的是这里得到的矩阵形状是batch_size x len_q x len_k，我们是对k中的pad符号进行标识，并没有对q中的做标识，因为没必要（尚未理解，有理解的小伙伴评论私信奥）
Attention Is All You Need （Transformer）阅读笔记
G_State_Lavin的博客
11-30 787
Transformer模型细致讲解
动图图解Transformer及其工程领域应用（NLP外）
David's Tweet
06-10 1万+
一、Transformer图解 原文：《The Illustrated Transformer》 1.1 概览 Transformer总览 1.2 Encoder步骤 1.3 Decoder步骤 完成Encoder知识的学习以及基本上知道Decoder是如何工作的之后，接下来看看他们是如何协同工作的吧。 （1）首个输出 在完成encoder阶段之后，我们开始Decoder阶段。Decoder阶段的每个步骤从输出序列（本例中为英语翻译句子）输出一个元素。 （2）冒泡输出 以下步..
理解机器翻译模型 Transformer
nicajonh的博客
06-16 2523
transformer是一种不同于RNN的架构，模型同样包含 encoder 和 decoder ，但是encoder 和 decoder 抛弃了RNN，而使用各种前馈层堆叠在一起。 Encoder： 编码器是由N个完全一样的层堆叠起来的，每层又包括两个子层(sub-layer)，第一个子层是multi-head self-attention mechanism层，第二个子层是一个简...
Transformer模型详解
凌逆战的博客
01-29 1230
2013年----word Embedding 2017年----Transformer 2018年----ELMo、Transformer-decoder、GPT-1、BERT 2019年----Transformer-XL、XLNet、GPT-2 2020年----GPT-3 Transformer 　　谷歌提出的Transformer模型，用全Attention的结构代替的LSTM，在翻...
Bert 结构理论 笔记 Bert理解
机器学习专栏
04-09 2970
Bert理解 Attention Attention函数的本质可以被描述为一个查询（query）到一系列（键key-值value）对的映射 在计算attention时主要分为三步，第一步是将query和每个key进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等；然后第二步一般是使用一个softmax函数对这些权重进行归一化；最后将权重和相应的键值value...
PyTorch实现的transformer在自然语言处理中的应用
在自然语言处理（NLP）领域，Transformer模型已经成为了标准架构之一，特别是在处理序列数据，如文本时。本文将深入探讨基于PyTorch实现的Transformer模型，并探讨Hugging Face的Transformers库，它为研究人员和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值