transformer论文学习：Attention Is All You Need

最新推荐文章于 2023-03-23 16:00:35 发布
最新推荐文章于 2023-03-23 16:00:35 发布
阅读量369 收藏
点赞数
分类专栏： transformer论文学习 文章标签： transformer 学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iam_NaCl/article/details/125489741
版权

transformer论文学习：Attention Is All You Need

文章目录


参考资源：
1、原论文
2、 https://www.bilibili.com/video/BV1P4411F77q?spm_id_from=333.337.search-card.all.click&vd_source=c88465974cab6da6ea3744fe14ca80f3
3、 https://github.com/aespresso/a_journey_into_math_of_ml/blob/master/03_transformer_tutorial_1st_part/transformer_1.ipynb

整体结构速览

在这里插入图片描述

在这里插入图片描述

一、网络结构

在这里插入图片描述
左侧为编码器，右侧为解码器。
论文中编码器N = 6 。 为了方便进行残差连接，模型中的所有sub-layer以及embedding layer都会产生维度 dmodel = 512 的输出。
解码器也是N = 6 。与编码器中block不同点如下：
1、多了一个sub-layer，该子层对编码器的block的输出进行 multi-head attention。
2、修改了解码器block中的自我注意sub-layer，以防止位置涉及后续位置。这种masking结合输出embeddings偏移一个位置的事实，确保位置i的预测只能依赖于位置小于i的已知输出。

二、注意力机制

在这里插入图片描述

1、最初的Q、K、V为线性计算所得，Wq、Wk、Wv均为embed.dim * embed.dim 大小的权重矩阵
在这里插入图片描述
2、进行multi head attention ，即将Q、K、V分割成h份（h为超参数）
维度由[batch size，sequence length，h，embedding dimension]
变成了[batch size，sequence length，h，embedding dimension / h]

3、矩阵运算绘图演示
在这里插入图片描述
两个矩阵相乘后得到了注意力矩阵，注意力矩阵的作用就是一个注意力权重的概率分布,我们要用注意力矩阵的权重给V进行加权,上图中我们从注意力矩阵取出一行(和为1)然后依次点乘V的列,矩阵V的每一行代表着每个字向量的数学表达,

在这里插入图片描述
（1）除以dk开根是为了把注意力矩阵变成标准正态分布,使得softmax归一化之后的结果更加稳定,以便反向传播的时候获取平衡的梯度
（2）softmax归一化,使每个字跟其他所有字的注意力权重的和为1

iam氯化钠
关注
专栏目录
论文：Attention is all you need
cztAI的博客
06-23 1981
论文：https://arxiv.org/abs/1706.03762 自注意力，有时也被称为内注意，是一种注意机制，将单个序列的不同位置联系起来，以计算该序列的表示。 架构 编码器(左半部分)和解码器(右半部分) 左半部分的编码器一共有N = 6个子编码器，图中仅显示一个。 每一个子编码器都有两层。 一层是Multi-Head Attention （多头自注意机构），另一层是 Feed Forward（全连接的前馈网络）。 在这两层都使用一个恒等映射（残差结构），然后进行层归一化。 每一层的输出表示为
transformer_tutorial-CN.ipynb
03-03
PyTorch自然语言处理部分教程翻译的ipynb：基于nn.Transformer和TorchText构建序列到序列模型。transformer_tutorial-CN.ipynb，原文是：SEQUENCE-TO-SEQUENCE MODELING WITH NN.TRANSFORMER AND TORCHTEXT。基于Wikitext-2数据集。教程在语言模型任务上训练nn.TransformerEncoder模型。语言模型任务是计算一个给定单词（或单词序列）是一个单词序列的后一个单词的概率。
[论文阅读] Transformer(Attention Is All You Need)
BENULL的博客
05-16 302
Transformer 是 Google 团队在 17 年 6 月提出的 NLP 经典之作， 由 Ashish Vaswani 等人在 2017 年发表的论文 Attention Is All You Need 中提出。 Transformer 在机器翻译任务上的表现超过了 RNN，CNN，只用 encoder-decoder 和 attention 机制就能达到很好的效果，最大的优点是可以高效地并行化
DGL官方教程--Transformer tutorial
weixin_45613751的博客
01-28 1583
Note: Click here to download the full example code Transformer tutorial Author: Zihao Ye, Jinjing Zhou, Qipeng Guo, Quan Gan, Zheng Zhang 在本教程中，您将学习Transformer模型的简化实现。您可以看到最重要的设计要点的亮点。例如，只有单头注意力。完整的...
PyTorch spatial transformer tutorial 空间变换网络(STN)教程
海尔兄弟的博客
03-11 2293
要查看格式更完美的配图文章，请前去 http://studyai.com/pytorch-1.4/intermediate/spatial_transformer_tutorial.html 在本教程中，您将学习如何使用一种称为空间变换器网络的视觉注意机制来增强您的网络。 您可以在 DeepMind paper 中更多地阅读有关空间变换器网络的内容。 空间变换器网络(Spatial transfo...
Transformer Tutorials 最全入门详细解释（一）
weixin_50920579的博客
03-23 1506
你可以简单理解为它是一个黑盒子，当我们在做文本翻译任务是，我输入进去一个中文，经过这个黑盒子之后，输出来翻译过后的英文。那么在这个黑盒子里面都有什么呢？里面主要有两部分组成：Encoder 和 Decoder当我输入一个文本的时候，该文本数据会先经过一个叫Encoders的模块，对该文本进行编码，然后将编码后的数据再传入一个叫Decoders的模块进行解码，解码后就得到了翻译后的文本，对应的我们称Encoders为编码器，Decoders为解码器。
NLP：Attention Is All You Need.pdf
04-21
"Attention Is All You Need"这篇论文提出了一种全新的架构——Transformer，它彻底改变了序列转导模型的设计思路。Transformer网络完全基于注意力机制，不再依赖于RNNs和CNNs。这种设计不仅简化了模型结构，也提高...
Attention Is All You Need
最新发布
11-16
Transformer 和 Attention 机制详解 Transformer 模型是近年来自然语言处理（NLP）领域的研究热点，该模型首次引入了 Self-Attention 机制，彻底摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）架构，实现了...
Attention Is All You Need.pdf
07-05
总结来说，论文“Attention Is All You Need”提出的Transformer模型不仅推动了NLP技术的进步，而且对深度学习领域的注意力机制研究产生了深远的影响。它开启了研究者重新思考和设计深度学习架构的思路，特别是针对...
Transformer由来——A Tutorial of Transformers课程笔记
Eva_Hua的专栏
07-29 958
代码： 本文提出了transformer，避开了递归的结构而完全依赖于注意力机制，一种吸引输入和输出之间全局依赖关系的注意机制。 模型结构 大多数有竞争力的神经序列转换模型都有编码器—解码器结构。编码器将输入的序列(x1,...,xn)映射为连续的信号表示(z1,...,zn)。有了Z后，解码器生成输出序列(y1,...,ym)。每一步，模型都是自动递减的，当需要计算/生成下一个信号时 就用之前生成的信号作为额外的输入。这个思想的示意图如下所示： 我 .........
项目实训（八）--transformer
weixin_43910910的博客
06-11 300
项目实训（八） 本文讲一下个人对transformer的理解 目录项目实训（八）结构字向量与位置编码自注意力机制残差连接与layer normalizationfeedforward参考 结构 像大多数seq2seq模型一样，transformer模型是由encoder-decoder构成。 字向量与位置编码 由上面的结构可知，输入inputs需要经过input embedding进行编码。 这一层的编码主要由两部分组成，字符编码和位置编码。 所谓字符编码，就是将语句划分之后的字符通过预训练的向量进行匹配
预训练语言模型--transformer
m0_44967199的博客
11-13 2338
目录一.背景二.transformer编码器1.transformertransformertransformer模型直觉，建立直观认识；1.1transformer的流程1.2transformer-encoder部分2. positional encodingpositional \ encodingpositional encoding, 即位置嵌入(或位置编码);(==...
1. attention is all in need
易大飞
11-15 303
在视频和github中有相关作者非常详细的讲解，感觉受益匪浅，因此学习记录。 讲解视频：从中文Transformer到BERT的模型精讲,以及基于BERT情感分类实战_哔哩哔哩_bilibili 视频笔记 github：https://github.com/aespresso/a_journey_into_math_of_ml/blob/master/03_transformer_tutorial_1st_part/transformer_1.ipynb ...
Transformer BERT KG-BERT
weixin_43235829的博客
02-23 2111
第二次组会 10.26 研究方向：知识表示学习 两个重要的知识表示学习综述： 知乎： 1. KG笔记十、知识图谱嵌入(KG Embedding)https://zhuanlan.zhihu.com/p/354867179 2. 刘知远大神《知识表示学习研究进展》的学习小结https://zhuanlan.zhihu.com/p/356147538 3. 知识图谱最新权威综述论文解读：知识表示学习部分https://zhuanlan.zhihu.com/p/141396088 下次讨论的论文： Interac
PyTorch入门（六）使用Transformer模型进行中文文本分类
山阴少年
03-20 6167
本文将会介绍如何在PyTorch中使用Transformer模型进行中文文本分类。
transformer中的多头注意力机制
热门推荐
scu-liu的博客
04-14 1万+
本文为《Attention Is All You Need》精读中的一个拓展 论文- 《Attention Is All You Need》 为了学到多重语意含义的表达，进行多头注意力机制的运算。不要被这个多头注意力给吓住，其实这里面就是用到了几个矩阵运算，先不用管怎么运算的，我们先宏观看一下这个注意力机制到底在做什么？ 拿单头注意力机制举例： 左边的红框就是我们现在讲的部分，右图就是单头注意力机制做的事情，拿句子： The animal didn’t cross the street, because
互注意力机制的过程和实现二
hshshsjjs的博客
06-11 1090
本文继续进行互注意力机制的研究和展示 上文中介绍了互注意力机制的第一个部分，本文继续进行第二部分的介绍。 第二部分是考生答案和参考答案的互注意力。在普通注意力机制中，单向注意力矩阵a中的每一行被简单地相加或者求均值作为最终的注意力权重向量在主观题阅卷任务中，对于考生答案的第p句话xp，即使这句话的内容与参考案完全不相干，在对匹配系数矩阵M进行列归一化之后，xp在参考答案中的句话上的匹配程度之和仍为 1。本文引入考生答案和参考答案的互注意力机来解决这个问题。 首先对匹配系数矩阵M进行行归一化，对于给定的参.
自然语言处理之Attention大详解（Attention is all you need）
周红伟讲AI
07-29 1857
1. 写在前面 今天分享的论文是2017年谷歌团队发表的一篇论文，这是一篇非常经典的自然语言处理领域的文章，基于这篇文章，才有了最近非常火的bert， Albert等模型，接触这篇文章是在一次直播中看到的，因为经典，所以就想着读了读（虽然不是搞nlp的，但总感觉知识这东西都有一定的通性，多学一些肯定没有坏处，万一以后要用到呢？）。但是这篇论文本身我读了一遍之后，感觉不太懂，感觉里面有些东西并不是说的很清楚，具体流程更是别提了。可能我预备知识也不足，于是就查资料，然后结合直播中讲的理解了一下，仍然可能有不到位
Transformer模型解析：Attention就是一切
"本文档主要介绍了‘Attention Is All You Need’这一论文的核心概念，特别是Transformer模型中的Attention机制及其在神经机器翻译中的应用。" 在深度学习领域，Attention模型已经成为解决序列到序列任务的关键技术...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值