Transformer Model：从Attention层到Transformer网络（2/2）

已于 2022-10-15 16:39:40 修改
阅读量561 收藏
点赞数
分类专栏： NLP&CV 文章标签： transformer
于 2022-10-15 16:37:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43717681/article/details/127332735
版权

目录

一、正文

二、参考链接

一、正文

这次我们使用attention和self-attention基本组件来搭建部署一个深度神经网络

把L个单头self-attentions输出的序列做concat堆叠起来，作为多头self-attention的最终输出，堆叠起来的c向量变得更高，如果每个单头的输出都是d*m的矩阵。那么多头的输出就是ld*m的矩阵。

刚才我们用L个单头self-attentions构造出多头self-attention，我们同样可以用L个单头attention构造多头attention，所有L单头attention的输入都是两个序列x1到xm，以及x1’到xt’，每个单头attention都有各自的参数矩阵，他们不共享参数，每个单头都有输出序列c，把单头输出的c给堆叠起来，就是多头的输出。

我们已经构造出了多头self-attention，多头attention

接下来要用这两种层来搭建深度神经网络，首先用多头self-attention与全连接层来搭建一个encoder网络。

这是刚才搭建的多头self-attention层，输入是序列x1到xm，输出是序列c1到cm

然后搭一个全连接层，把向量c1作为输出，全连接层把c1乘到参数矩阵Wu上，然后再用Relu或者其他激活函数得到输出向量U1，把同一个全连接层用到c2上，得到输出U2，U2计算方法完全相同，注意这些全连接层是完全相同的，他们的参数矩阵都是Wu，然后把全连接层用到c3上，输出u3，以此类推，得到m个输出向量u，这些全连接层都是完全一样的，有同一个参数矩阵Wu

刚才我们搭建了两层，一个多头self-attention，一个全连接层。

输入是m个向量，x1到xm，输出也是m个向量，u1到um。Ui在xi向量的位置上，但是ui不仅仅依赖于xi，ui依赖于所有m个x向量，改变任何一个x向量，ui都会发生变化，当然ui影响最大的还是xi。可以继续加更多多头attention层和全连接层，想搭建多少层都可以，这样便会搭建出一个深度神经网络，道理跟多层RNN是一样的

现在我们来搭建Transformer 的encoder网络，一个block有两层

一个多头attention和一个全连接层，输入是512*m的矩阵，输出也是512*m的矩阵

这里m是输入序列x的长度，每个x向量都是512维的。

这个是encoder网络的结构，输入是512*m的矩阵X，x的每一列都是512维的词向量，这个是我们刚刚定义的一个block，他有两层，一个self-attention层，一个全连接层，它的输出也是512*m的矩阵，输入和输出的大小一样，然后搭建第二个block，输出还是512的矩阵。我们想搭建多少个block都可以，Transformer的encoder网络一共有6个blocks

每个blocks有两层，每个block都有自己的参数，blocks之间不共享参数，最终的输出是512*m的矩阵，输出与输入的大小是一样的

刚才我们通过堆叠多头self-attention与全连接层，搭建出encoder网络，encoder网络有6个blocks，每个block有两层。现在我们进一步用到attention层，从而搭建Transformer的decoder网络

Transformer是一个seq2seq模型，他有一个encoder，和一个decoder，输入是两个序列，如果我们想把英语翻译成德语，那么x序列是英语的词向量，x’是德语的词向量

刚才我们已经搭建了好了encoder网络，它有6个blocks，每个block有两层，encoder的输入和输出都是512维的向量，输入序列有m个词向量，x1到xm，输出序列也有m个向量，记作u1到um，现在我们开始搭建decoder网络的第一个block

第一层是一个多头self-attention，输入是x1’到xt’，输出是c1到ct，他们全都是512维的向量

第二层是多头attention

这一层有两个序列，一个是u1到um，一个是c1到ct，多头attention的输出是z1到zt，他们也都是512维的向量，

最后在搭建一个全连接层，输入是512维z1，输出是512维的向量s1，全连接层都一样，都是把参数矩阵Ws，与输入的z向量相乘，然后relu激活函数得到向量s

把z2作为输入，全连接层输出s2，用同样的方法，把所有的z向量，都映射到s向量

我们已经搭建了decoder的一个block，这个block有三层，分别是self-attention层、attention层、以及全连接层

刚才我们搭建了三层，这三层组成了decoder的一个block，这个block需要两个输入序列，两个序列都是512维的向量，两个序列的长度分别是m和t。如果是把英语翻译成德语，那么m是英语句子长度，t是已经生成德语单词的数量，这个输出序列长度是t，每个向量都是512维的。

现在把这些模块拼接起来得到最终的Transformer模型。

最后，总结一下Transformer模型

Transformer是seq2seq模型，有encoder和decoder网络，可以用来做机器翻译，Transformer不是RNN，他没有循环结构，Transformer完全基于attention和全连接层，Transformer和RNN的输入输出大小完全一样，所以之前如何使用RNN，现在便可以如何使用Transformer，Transformer使用在自然语言处理问题上效果非常好，可以完爆最好的RNN+Attention，所以现在Transformer已经是业界标准。

二、参考链接

ShusenWang的个人空间_哔哩哔哩_bilibili

黄乐荣
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
transformer model 学习笔记
机器学习专栏
08-29 1770
1. transformer 架构 Transformer改进了RNN最被人诟病的训练慢的缺点，利用self-attention机制实现快速并行。左半部分是 encoder 右半部分是 decoder。 Encoder: 由N=6个相同的layers组成, 每一层包含两个sub-layers. 第一个sub-layer 就是多头注意力层（multi-head attention layer）然...
文本分类实战（八）—— Transformer模型
weixin_30814319的博客
01-02 1310
1 大纲概述 　　文本分类这个系列将会有十篇左右，包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMo，BERT等）的文本分类。总共有以下系列： 　　word2vec预训练词向量 　　textCNN 模型 　　charCNN 模型 　　Bi-LSTM 模型 　　Bi-LSTM + Attention 模型 　　RCNN 模型 　　Adversarial LS...
Transformer模型
jiangjiane
02-23 398
转载 https://blog.csdn.net/qq_41664845/article/details/84969266
详解Transformer模型及相关的数学原理
Deep_coding_Q的博客
06-23 1万+
声明：本文参考了许多相关资料，视频，博客，结合《Attention is All You Need》这篇文章的每一个细节，从一个初学者的角度出发详细解读Transformer模型，无代码。原文链接及参考资料放在文末，若有错误或不当之处请多多包涵，如有侵权请联系我删除。Transformer模型是谷歌在2017年提出的继卷积神经网络（CNN）模型之后新一代网络架构，最初用于自然语言处理（NLP），如今在计算机视觉领域的很多下游任务（如图像分类，目标检测，图像分割等）及其他领域也有很出色的表现，因此，理解了最基
[LLM] 自然语言处理---Transformer实现(二)
摩登都市天空---专栏
08-02 7133
目录 Encoder-Decoder框架 一 整体架构 动态流程图 二 Encoder 2.1 Encoder Layer和残差网络 Residual Connection 2.2 Attention Self Attention Multi-head Attention 2.3 Add & Norm LayerNormalization 层归一化 2.4 前馈网络...
Transformer Model: Attention without RNN
10-15
Transformer模型是深度学习领域中的一种序列到序列（Seq2Seq）模型，由Vaswani等人在2017年的NIPS会议上提出的《Attention is All You Need》论文中首次介绍。与传统的循环神经网络（RNN）不同，Transformer模型完全...
transformer详解：transformer/ universal transformer/ transformer-XL
彼得.攀的blog
10-08 1794
首发自彼得攀的小站 特别鸣谢刘陆琛@Mayouji在本文写作过程中的帮助 Attention机制在NLP领域的应用最早可以追朔到2014年，Bengio团队将Attention引入NMT(神经机器翻译)任务 [1]。之后更是在深度学习的各个领域得到了广泛应用：如CV中用于捕捉图像上的感受野；NLP中定位关键token/feature. 作为某种程度上可以称为当下NLP领域最强的特征抽取器的tran...
【NLP相关】Transformer模型：从Seq2Seq到自注意力机制（Transformer原理、公式推导和案例）
Chaos的博客
03-03 1888
自然语言处理（NLP）是人工智能（AI）领域中的一个重要分支。在NLP领域中，Transformer模型是目前最先进的模型之一，它通过引入自注意力机制和编码器-解码器结构，显著提高了NLP任务的性能。本文将介绍Transformer模型的原理、优势和劣势，并提供相应的案例和代码。
TRANSFORMER TRANSDUCER: A STREAMABLE SPEECH RECOGNITION MODELWITH TRANSFORMER ENCODERS AND RNN-T
weixin_48994423的博客
04-22 1830
题目： TRANSFORMER TRANSDUCER: A STREAMABLE SPEECH RECOGNITION MODEL WITH TRANSFORMER ENCODERS AND RNN-T LOSS [ICASSP 2020 arXiv:2002.02562v2] Motivation 1、基于transformer的模型使用解码器特征来处理编码器特征，这意味着解码必须以标签同步的方式完成，从而对流语音识别应用提出了挑战。 2、随着输入序列的大小，self-attention的
linear-attention-transformer:基于关注变量的变压器，该变量在序列长度方面具有线性复杂性
03-31
$ pip install linear-attention-transformer 用法 语言模型 import torch from linear_attention_transformer import LinearAttentionTransformerLM model = LinearAttentionTransformerLM ( num_tokens = 20000 ,...
图解Transformer模型(Multi-Head Attention)
热门推荐
black_shuang的博客
07-10 1万+
本文内容主要源于Attention is all you need:https://arxiv.org/abs/1706.03762 由于本人最近在研究文本的判别式模型,如文本分类任务,所以学习了Transformer,并根据自己的理解制作了PPT介绍总结Transformer中几个比较重要的部分. 文章内容为本人制作的PPT，同时在需要解释的slide写上了补充说明; 主要内容包括 1...
什么是transformer模型及其工作原理【译】
shenyang2的博客
06-14 1903
本文用最浅显的语言描述了transformer的模型，可以用作学习transformer模型的启蒙篇。这也是为什么要把它翻译成中文，分享给大家的原因。强烈推荐！
Transformer模型学习笔记
valleria的博客
01-14 2636
Transformer模型学习笔记前言回顾参考资料解读1. High-level的看一下,transformer大致是个什么样子2.详细看下, 具体结构,以及输入都长什么样3.self-attention层4.多头机制 Multi-head5.输入语句中词的顺序(Positional Encoding)6.剩余东西7.解码器(Decoder)8.最后输出层 前言 Google研究菌曰: 在tran...
Transformer模型详解（图解史上最完整版）
Trisyp的博客
02-24 2139
Transformer模型详解
Transformer入门教程（六）模型设计知识整理
什么是江湖?
12-10 2707
这里我会记录些Transformer相关的资料，资料来源于网上，现分享下 1. Transformer建模过程 从模型到PowerCube 1.1  输入数据源 1.2  建立和检验度量 1.3  建立和检验维度和层 1.4 创建和测试PowerCubes 这个流程也描述和概括了我们之前的Transformer设计 2. 什么是PowerCube PowerCube是多维
透彻理解大模型框架：Transformer模型原理详解与机器翻译
zql1009的博客
05-15 1万+
已知神经网络权重：W_q, W_k, W_v。
Transformer系列 _11 Transformer model- 从Attention到Transformer 笔记2021-06-30
qq_38038430的博客
06-30 264
From Shallow to Deep 参数不共享。 stacked self-attention layers 注意全连接层Dense参数共享，Wu transformer’s encoder 每个block之间能加入skip connection。 transformer’s Decoder: one Block put everything together trannsformer :encoder network Comparison with RNN Se
transformers重要组件（模型与分词器）
最新发布
影子
02-05 1407
除了像之前使用AutoModel根据 checkpoint 自动加载模型以外，我们也可以直接使用模型对应的Model类，例如 BERT 对应的就是BertModel注意，AutoModel这样如果我们想要使用另一个模型（比如把 BERT 换成 RoBERTa），只需修改 checkpoint，其他代码可以保持不变。
Transformer模型架构及PyTorch源码详解（基于Attention is All You Need）
weixin_42756682的博客
04-24 3773
模型架构 Encoder： N个block组成，每个block由一个自注意层和+一个FFN层组成 Decoder： N个block组成，每个block由一个masked自注意层+交叉注意层+FFN层组成 交叉注意层——q来自decoder；k，v来自encoder的输出 位置编码： 位置编码会随着残差计算向后传播 源码 有五个相关类： Transformer TransformerEncoder TransformerDecoder TransformerEncoderLayer Transformer
Transformer模型深度解析：从NLP到CV的革命
2. 编码器：由多个相同的编码器层堆叠而成，每个编码器层包含多头自注意力机制（Multi-Head Self-Attention）和前馈神经网络（Feed-Forward Network）。自注意力允许模型在处理序列中的每一个元素时，考虑全局的信息...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值