【论文阅读】attention is all you need

于 2022-09-29 11:06:01 发布
阅读量551 收藏
点赞数
分类专栏： nlp 文章标签： 论文阅读 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/capsnever/article/details/127100742
版权

1.论文链接

Attention Is All You Need

2.论文主要为了解决什么问题？

  1. 传统的RNN不能并行处理，如果想要有 h i h_{i} hi​，必须要有 h i − 1 h_{i-1} hi−1​作为输出
  2. 传统的CNN的跨度太大
  3. 以上两个不是很好的能够捕捉到很久之前的信息

3.模型流程

在这里插入图片描述
由于这个模型的过程比较多，因此只选择了部分有代表性的来说明

layer normalization

首先常见的有batch normalization，就是对于特定特征 f e a fea fea，将其每一个样本 f e a i fea_i feai​构成的集合，调整为均值为0，方差为1的序列。那我们为什么不这么选呢？首先我们会在没有数据的地方放置0，因此如果出现了一个特别长的序列，我们整个样本的值和可信度就会收到影响，因此我们选择layer normalization

layer normalization:对于一个单个样本 i i i，将其所有特征组成的集合调整为均值为0，方差为1的序列。

Scaled Dot-Product Attention

在这里插入图片描述
此处是用来计算QK的相似度的，除以 d k \sqrt{d_k} dk​ ​是因为经过softmax之后有的会很接近0，防止训练的时候梯度消失。

MASK操作

在这里插入图片描述

首先我们知道，transformer这个模型如果不去看postional encode的话是没有时序信息的。在encode的时候没有问题，我们能够看到完整的输入。但是在decode的时候就有问题了，他只能看到之前位置的输出结果。所以在decode的时候，将对应位置直接设置成一个非常小的数字，比如 1 e − 10 1e^{-10} 1e−10，这样经过softmax之后概率就是0.

Positional Encoding

在这里插入图片描述

因为我们没有位置信息，所以我们要编码一个位置信息放进去。

4.论文创新点

  1. 直接放弃了传统的RNN和CNN的结构，全文用的都是attention机制，追求并行度。
  2. 虽然直接放弃了RNN结构，但是由于位置信息是非常重要的，他又加入了Positional Encoding保留位置信息
  3. 用点积作为相似度
  4. 没用batchnorm而用的是layernorm

5.本文可能潜在改进的地方

觉得算相似度可以直接用余弦值来计算（一个猜测）

6.本论文收到了哪些论文启发？

传统的RNN CNN
seq with attention

7.参考链接

别人的博客

李沐 transformer解读

Capsfly
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Attention Is All You Need.pdf
07-05
Attention Is All You Need，NLP经典论文，值得仔细阅读
论文分享-- >Attention is all you need
村头陶员外的博客
04-30 2188
本次分享的论文是鼎鼎有名的attentionisallyouneedattention\ is\ all\ you\ need，论文链接attention is all you need，其参考的tensorflowtensorflow 实现代码tensorflow代码实现。自己水平有限，在读这篇论文和实现代码时，感觉比较吃力，花了两三天才搞懂了一些，在此总结下。废话不多说，直接带着代码看论
Attention Is All You Need.rar
01-03
Attention Is All You Need 论文 csdn竟然要7积分 压缩下上传给外网网速不好的同学
attention is all you need 论文笔记
Mr_wuliboy的博客
04-10 333
序列转换模型是基于复杂的RNN或者CNN(Encoder-Decoder)，性能最好的模型是在Encoder和Decoder之间加上attention。 提出一种新的网络结构(transformer)，而是完全依赖于注意机制来绘制输入和输出之间的全局依赖关系，完全省略了递归和卷积。 优点高并行性、训练时间更短。 2014年WMT英德翻译任务中达到28.4 BLEU，比现有的最佳结...
Attention Is All You Need
11-16
Transformer 和 Attention 机制详解 Transformer 模型是近年来自然语言处理（NLP）领域的研究热点，该模型首次引入了 Self-Attention 机制，彻底摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）架构，实现了...
NLP：Attention Is All You Need.pdf
04-21
"Attention Is All You Need"这篇论文提出了一种全新的架构——Transformer，它彻底改变了序列转导模型的设计思路。Transformer网络完全基于注意力机制，不再依赖于RNNs和CNNs。这种设计不仅简化了模型结构，也提高...
Tranformer开篇之作Attention Is All You Need 论文阅读理解+代码注释解读
10-13
Transformer模型是深度学习领域的一次重大突破，由Google在2017年提出的论文《Attention is All You Need》中首次提出。这篇论文颠覆了传统的序列建模方式，如RNN（循环神经网络）和CNN（卷积神经网络），将自注意力...
attention is all you need.pptx
05-10
attention is all you need 讲解PPT 附带注释
Attention+is+All+You+Need.pdf
09-16
Attention Is All You Need，Sequence to Sequence for neural machine tranlation
Transformer-Attention is all you need
02-26
Transformer-Attention is all you need 论文, google出品, 可查阅博文: https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
Attention Is All You Need 中文翻译
11-18
Attention Is All You Need 中文翻译
【论文精读46】Attention Is All You Need
scu-liu的博客
04-13 1770
贴一下汇总贴：论文阅读记录 论文链接：Attention Is All You Need》 一、摘要
Attention is all you need
shine_growing的博客
05-16 549
Abstract 摘要主要的序列转换模型是基于复杂的递归或卷积神经网络，其中包括编码器和解码器。性能最好的模型还通过注意机制连接编码器和解码器。我们提出了一种新的简单的网络结构——变形金刚，它完全基于注意力机制，完全省去了递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优，同时具有更大的并行性，并且需要更少的训练时间。我们的模型在2014年WMT英德翻译任务中达到28.4 BLEU。改进现有的最佳结果。包括超过2个BLEU的合奏。在2014年的WMT英法翻译任务中，我们的模型在8个gpu上进
Attention Is All You Need 中文版
胭脂草的ABC博客
06-21 1320
Attention Is All You Need 中文版 文章目录 Attention Is All You Need 摘要 1 Introduction（简介） 2 Background（背景） 3 Model Architecture（模型结构） 3.1 Encoder and Decoder Stacks（编码器栈和解码器栈） 3.2 Attention（注意力机制） 3.2.1 Scaled Dot-Product Attention
【论文笔记】Attention is all you need
BodyCsoulN的博客
11-23 3127
原文作者：Ashish Vaswani，Noam Shazeer，Niki Parmar，Jakob Uszkoreit 原文标题：Attention is all you need 原文来源：NIPS 2017 原文链接：https://papers.nips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf Attention is all you need 主流序列转导模型基于复杂的CNN或RNN，包括编码器和解码器。有的模型使
【论文阅读】Attention is all you need（Transformer）
qq_52852138的博客
05-21 2769
文章目录前言1.Abstract2.Introduction3.Background4.Model Architecture4.1. Encoder and Decoder Stacks4.2. Attention4.2.1. Scaled Dot-Product Attention4.2.2.Multi-Head Attention4.2.3. Applications of Attention in our Model4.3. Position-wise Feed-Forward Networks4.4
论文阅读——Attention is all you need
qq_36919342的博客
09-06 618
Attention is all you need
attention is all you need下载
最新发布
12-14
"Attention is All You Need"是一篇由Google Brain团队撰写的论文，介绍了一种新颖的神经网络架构——Transformer网络。该网络结构通过全注意力机制来实现序列到序列的学习，无需使用传统的循环神经网络或卷积神经...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值