[transformer] Attention is all you need

已于 2024-07-17 19:23:08 修改
阅读量359 收藏 10
点赞数 4
分类专栏： paper阅读笔记 文章标签： transformer 深度学习 人工智能
于 2024-07-16 18:44:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_30618203/article/details/140462911
版权

1、目的

        提出一种新的网络结构，不用CNN或者RNN，只基于self-attention

2、方法

                                

        * Norm: Layer Normalization

        1）Encoder

                -> 

                -> self-attention的k、v、q来自上一个encoder层

        2）Decoder

                -> 由于每个位置i的预测只能参考i以前的输出结果（auto-regressive），因此输出的embedding有一个位置的偏移。masked multi-head attention可以遮盖掉softmax的input中的illegal connections

                -> encoder-decoder attention的q来自前一个decoder层，k和v来自encoder的输出

        3）Attention

                关于注意力机制的分析，可以参考以下博客：

注意力机制真的可以“集中注意力”吗？ - 科学空间|Scientific Spaces

                -> Scaled Dot-Product Attention

                        

                        关于公式形式的分析，可以参考以下博客：

浅谈Transformer的初始化、参数化与标准化 - 科学空间|Scientific Spaces

线性Attention的探索：Attention必须有个Softmax吗？ - 科学空间|Scientific Spaces

听说Attention与Softmax更配哦～ - 科学空间|Scientific Spaces

注意力和Softmax的两点有趣发现：鲁棒性和信息量 - 科学空间|Scientific Spaces

                -> Multi-Head Attention

                        

                        由于每个head的dimension减少了，总的计算量和single-head attention相近

                4）Point-wise Feed-Forward Network

                         

                5）Embeddings and softmax

                        两个embedding层和pre-softmax linear transformation共享参数。其中，embedding层的weight会乘\sqrt{d_{model}}

                        关于embedding的分析，可以参考以下博客：

语言模型输出端共享Embedding的重新探索 - 科学空间|Scientific Spaces

                6）Positional Encoding

                        

                        其中pos是postion，i是dimension；维度与输入向量编码的维度一致，两者相加

                        关于位置编码的分析，可以参考以下博客：

让研究人员绞尽脑汁的Transformer位置编码 - 科学空间|Scientific Spaces

Transformer升级之路：1、Sinusoidal位置编码追根溯源 - 科学空间|Scientific Spaces

相对位置编码Transformer的一个理论缺陷与对策 - 科学空间|Scientific Spaces

Transformer升级之路：8、长度外推性与位置鲁棒性 - 科学空间|Scientific Spaces

Transformer升级之路：7、长度外推性与局部注意力 - 科学空间|Scientific Spaces

                        总结一下，sinusoidal位置编码的主要优点是：

                        -> 距离越远的位置编码，点积越小。符合直觉：距离越远的文本之间的相关性越弱

                        -> 适用于不定长的文本场景

3、优点

        可以用constant number of sequentially executed operations来连接所有的位置。当sequence长度n小于representation维度d时，self-attention比recurrent layer要快；对于特别长的句子，可以限定只在r范围内计算self-attention

4、其他

训练1000层的Transformer究竟有什么困难？ - 科学空间|Scientific Spaces

       

emergency_rose
关注
专栏目录
初识Transformer之Attention is all you need
qq_43173239的博客
02-04 1525
文章目录前言一、初识ransformer从宏观视角看自注意力机制从微观视角看自注意力机制什么是查询向量、键向量和值向量向量？通过矩阵运算实现自注意力机制使用位置编码表示序列的顺序残差模块解码组件最终的线性变换和Softmax层训练部分总结二、Attention is all you need 翻译1 简介2 背景3 模型架构3.1 编码器和解码器堆栈3.2 Attention3.2.1 缩放的点积attention3.2.2 Multi-Head Attention3.2.3 Applications o.
Attention Is All You Need
11-16
Transformer 和 Attention 机制详解 Transformer 模型是近年来自然语言处理（NLP）领域的研究热点，该模型首次引入了 Self-Attention 机制，彻底摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）架构，实现了...
Transformer: Attention Is All You Need
weixin_45771864的博客
04-29 1569
无
transformer原理-Attention Is All You Need
traveler-leon的博客
04-30 1330
还是惯例来感慨一下，transforemr是google公司在2017年7月发表的【Attention Is All You Need】这篇文章中被提出来的。而在大模型得到了蓬勃发展的今天，不管是哪一类大模型（视频、图像、文本），基本上模型的基础架构都是采用了transformer或者是transformer的变体。这一定程度上奠定了transformer的铁王座地位。
Transformer(一)--论文翻译：Attention Is All You Need 中文版
热门推荐
11-15 5万+
Attention Is All Your Need 摘要   主流的序列转换模型都是基于复杂的循环神经网络或卷积神经网络，且都包含一个encoder和一个decoder。表现最好的模型还通过attention机制把encoder和decoder联接起来。我们提出了一个新的、简单的网络架构，Transformer. 它只基于单独的attention机制，完全避免使用循环和卷积。在两个翻译任务上表...
Transformer论文--Attention Is All You Need
garbage回收中心
09-06 1006
目前主要的序列传导模型基于复杂的循环或卷积神经网络，包括encoder and a decoder。作者提出了仅依赖于注意力机制的的一种新的简单网络结构（Transformer），在机器翻译任务中与其他模型相比，该模型展现了更高的并行计算量同时大大减少了训练时间。并在WMT 2014 English-to-German比赛中BLEU值达到了28.4，比其他模型（包括集成模型）高出2个BLEU值。在WMT 2014 English-to-French比赛中达到了单一模型的最高记录（BLEU为41）。
Transformer Attention Is All You Need
DarrenXf的专栏
03-14 1105
Attention Is All You Need paper https://arxiv.org/pdf/1706.03762.pdf 注意力就是你需要的所有 摘要 主导的序列转换模型是基于复杂的循环或卷积神经网络，包括编码器和解码器。最佳性能 的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单的网络结构， 即Transformer，它只是基于注意力机制，完全不需要循环和卷积。两...
Transformer Attention is all you need 部分解析
zhangyinhua1122的博客
03-14 1295
Transformer 的一些个人理解
详解Transformer （Attention Is All You Need）
阿哥的专栏
10-27 765
注意力（Attention）机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度学习中的各个领域，例如在计算机视觉方向用于捕捉图像上的感受野，或者NLP中用于定位关键token或者特征。谷歌团队近期提出的用于生成词向量的BERT[3]算法在NLP的11项任务中取得了效果的大幅提升，堪称2018年深度学习领域最振奋人心的消息。而BERT算法的最重要的部分便是本文中提出的Transformer的概念。
论文学习笔记：Transformer Attention Is All You Need
Matrix-11
05-01 1111
在主流的序列转录模型中，主要是依赖复杂的循环网络或者卷积神经网络，这类模型都包含一个 Encoder 和 Decoder。在性能最好的模型里，通常会在编码器与解码器之间使用一个注意力机制进行连接。这篇文章提出了一个简单的架构，称为 Transformer，仅仅只依靠注意力机制，不再需要循环或者卷积。文章提出的模型，在两个机器翻译任务上取得了更好的效果，同时具备更好的并行化以及更少的训练耗时。同时模型泛化到其它任务上也有不错的表现。
NLP：Attention Is All You Need.pdf
04-21
"Attention Is All You Need"这篇论文提出了一种全新的架构——Transformer，它彻底改变了序列转导模型的设计思路。Transformer网络完全基于注意力机制，不再依赖于RNNs和CNNs。这种设计不仅简化了模型结构，也提高...
Attention Is All You Need.pdf
07-05
总结来说，论文“Attention Is All You Need”提出的Transformer模型不仅推动了NLP技术的进步，而且对深度学习领域的注意力机制研究产生了深远的影响。它开启了研究者重新思考和设计深度学习架构的思路，特别是针对...
Tranformer开篇之作Attention Is All You Need 论文阅读理解+代码注释解读
10-13
Transformer模型是深度学习领域的一次重大突破，由Google在2017年提出的论文《Attention is All You Need》中首次提出。这篇论文颠覆了传统的序列建模方式，如RNN（循环神经网络）和CNN（卷积神经网络），将自注意力...
Transformer-Attention is all you need
02-26
Transformer-Attention is all you need 论文, google出品, 可查阅博文: https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
[ConvLSTM] Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting阅读笔记
sinat_30618203的博客
04-12 3284
1、主要创新 相比于FC-LSTM，引入卷积层，1）可以充分利用空间关联，2）能够输出图像序列，3）减少参数冗余 2、网络 1）输入 时空序列，特征数目=P，图像大小=MxN，即 ​​​​​​​​​​​​​​ 2）输出 3）网络设计 i: input ga...
[pix2pix]Image-to-Image Translation with Conditional Adversarial Networks阅读笔记
sinat_30618203的博客
02-17 1643
1、任务 1) image-to-image translation 2) common framework，适用于各种场景 2、网络 (image) conditional GANs (cGANs)：image x + random noise vector z -> y 1) Generator ...
[Stable Diffusion/LDM] High-Resolution Image Synthesis with Latent Diffusion Models
最新发布
sinat_30618203的博客
06-12 1108
DM的train和infer均需大量的时间和显存。
[Instance Normalization] The Missing Ingredient for Fast Stylization
sinat_30618203的博客
07-07 974
instance normalization
attention is all you need下载
12-14
"Attention is All You Need"是一篇由Google Brain团队撰写的论文，介绍了一种新颖的神经网络架构——Transformer网络。该网络结构通过全注意力机制来实现序列到序列的学习，无需使用传统的循环神经网络或卷积神经网络。这篇文章发表在2017年的NIPS会议上，迅速引起了学术界和工业界的关注。 随后，由于该网络结构在机器翻译等自然语言处理任务上取得了令人瞩目的成果，因此吸引了广泛的关注和应用。因此，越来越多的研究者、工程师和技术人员开始关注并研究这一网络结构，以探索其在其他领域的应用潜力。 针对"Attention is All You Need"的研究成果，Google Brain团队还开源了一个名为"Tensor2Tensor"的工具库，以帮助研究者和开发者更方便地构建和训练基于Transformer网络的模型。这一举措进一步推动了人们对该网络结构的关注和研究。 目前，"Attention is All You Need"论文已经成为自然语言处理领域的经典之作，被广泛引用和借鉴。它的影响力不仅仅局限于学术界，许多公司和组织也开始将其应用于他们自己的产品和项目中。可以说，"Attention is All You Need"的下载不仅仅代表了一篇论文的获取，更代表了一种前沿技术和思想的引入和传播。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值