文献阅读：Self-Attention with Relative Position Representations

最新推荐文章于 2024-05-30 11:43:13 发布
最新推荐文章于 2024-05-30 11:43:13 发布
阅读量939 收藏
点赞数
分类专栏： 文献阅读 文章标签： python pycharm 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42145837/article/details/123848781
版权

文献阅读：Self-Attention with Relative Position Representations

论文地址

1：简介

跟RNN和CNN使用相对位置编码或绝对位置编码相比，
transformer使用绝对位置编码在输入端。
本文探究在模型中引入相对位置编码，
具体而言，是在模型的注意力机制中，融入相对位置信息

2： 方法

transformer的注意力机制
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
对他的改进：
在这里插入图片描述
在这里插入图片描述

3：相对位置表示

对于transformer的每一层，在multihead_attn中添加
relative_k, relative_v引入相对位置信息

在这里插入图片描述

fly_jx
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[论文阅读]Self-Attention with Relative Position Representations
ZY_miao的博客
01-19 596
文章目录前言摘要1、Introduction & Motivation2、How to do ?3、Experiments Analysis总结 前言 论文名：Self-Attention with Relative Position Representations 论文作者：Peter Shaw et.al. 机构： Google Brain & Google 期刊/会议名：NAACL 2018 本文作者：XMU_MIAO 日期：2021/1/18 摘要    1、Introduc
Self-Attention with Relative Position Representations阅读笔记
weixin_44378920的博客
04-01 459
一句话概括：在Transformer模型中加入相对位置表示，可以提升翻译结果的质量。 Transformer：采用encoder-decoder框架 encoder里面有多层，每一层包括两个子层 self-attention 和 FFN（a position-wise feed-forward layer），子层之间通过 layer normalization 连接，层与层之间通过 residual 连接。 decoder里面同样可以定义多层。每一层包括三个子层 self-attention 、e
论文：Self-Attention with Relative Position Representations
chaojianmo的博客
12-06 980
动机 RNN的结构是通过隐状态对序列信息进行编码的。 第二个 I 的输出和第一个 I 的输出是不同的，这是因为输入到其中的隐状态是不同的。对于第二个 I 来说，隐状态经过了单词"I think therefore"，而第一个 I 是刚刚经过初始化的。因此，RNN的隐状态会使得处于不同位置的相同词具有不同的输出表示。恰恰相反的是，具有自注意力机制的Transformer（没有位置编码的）会使...
《Self-Attention with Relative Position Representations》论文笔记
XHHP
11-10 593
一、摘要 在传统transformer中，无法像循环神经网络和卷积神经网络一样加入相对位置信息和绝对位置信息。这使transformer模型缺少很重要一部分信息。 本文提出在==自注意力机制中加入相对位置信息，用来表征序列中元素的距离关系==。 同时，本文发现融合相对位置和绝对位置信息对模型在翻译任务中的质量没有提高。 二、介绍 在注意力模型架构中，要加入位置信息，通常会使用position encoding或者基于距离的偏置注意力权重。 在机器翻译中，作者尝试完全移除绝对位置编码，并加入相对位置编码
【Transformer】Self-Attention with Relative Position Representations及实现pytorch代码
qq_40731332的博客
03-09 1532
在Transformer中加入可训练的embedding编码，使得output representation可以表征inputs的时序/位置信息。这些embedding vectors在计算输入序列中的任意两个单词i,j之间的key和value是被加入其中。embedding vector用于表示单词i，j之间的距离，因此命名为“相对位置表征”（Relative Postiion Representation）。 Self-Attention 输入序列xi经过Self-Attention之后输...
2018-Self-Attention with Relative Position Representations
小毛激励我好好学习的博客
05-21 986
文章目录1. Title2. Summary3. Problem Statement4. Method(s)4.1 Relation-aware Self-Attention4.2 Relative Position Representation4.3 Efficient Implementation5. Evaluation6. Conclusion 1. Title Self-Attention with Relative Position Representations https://github.
论文阅读——Self-Attention with Relative Position Representations
qq_43658933的博客
03-17 2503
Self-Attention with Relative Position Representations Abstract 2017年Vaswani等人提出的Transformer需要在输入中添加绝对位置表示。作者在这篇文章中提出将元素与元素之间的相对位置表示引入了self-attention机制，在两个机器翻译（WMT 2014 EN-DE and EN-FR）的任务中，引入相对位置表示的self-attention比绝对位置编码的self-attention有明显的提升。但相对与绝对结合并不会进一步提
Self-Attention with Relative Position Representations（2018）
GY-赵的博客
05-11 614
transformer与递归和卷积神经网络不同，它不显式地对其结构中的相对或绝对位置信息进行建模在这项工作中，本文提出了另一种方法，扩展自我注意机制，以有效地考虑相对位置的表示，或序列元素之间的距离。 在这项工作中，我们提出了一种将相对位置表征结合到transformer self-attention中的有效方法。即使完全替换其绝对位置编码，我们也在两个机器翻译任务上证明了翻译质量的显著提高。 主要对相对位置编码做了一个扩展，attention中在第一层之前，将基于变化频率的正弦的位置编码与编码器和解码器.
Transformer Assemble（PART III）
01-06
写在前面 本文首发于公众号：NewBeeNLP 这一期魔改Transformers主要关注对原始模型中位置信息的讨论与优化， ...1、Self-Attention with Relative Position Representations 一篇短文不是很难理解，文章要解决的
Relative-Position-Representations:Python
04-12
相对位置表示python定义了一个keras层，该层采用相对位置表示和多头自我关注机制。该代码来自论文“具有相对位置表示的自我注意”的源代码。tensor2tensor库可从。 从tensorflow以tf导入tensorflow从tensorflow....
CompRess:压缩表示形式以进行自我监督学习
05-10
title = {CompRess: Self-Supervised Learning by Compressing Representations}, journal = {Advances in neural information processing systems}, year = {2020}, } 要求 按照安装PyTorch和ImageNet数据集。 ...
信号与系统教学课件：2-1 Representations of systems.ppt
07-04
信号与系统教学课件：2-1 Representations of systems.ppt
3D-RCNN: Instance-level 3D Object Reconstruction via Render-and-Compare
07-04
We present a fast inverse-graphics ...to be learned with 2D supervision. We evaluate our method on the challenging real-world datasets of Pascal3D+ and KITTI, where we achieve state-of-the-art results.
如何mysql数据导入到mongdb
codemami的博客
05-30 772
由于MySQL和MongoDB的数据模型不同（例如，MySQL使用关系模型，而MongoDB使用文档模型），你可能需要转换数据的格式。使用MongoDB驱动程序：你也可以使用MongoDB的官方驱动程序（如Python的pymongo）来编写脚本，将数据直接插入到MongoDB中。注意：如果你的JSON文件包含多个文档，并且它们不是作为数组的一部分（即每个文档都在其自己的行上），则需要使用--jsonArray选项。手动转换：对于小型数据集，你可以手动编辑SQL或CSV文件，将其转换为JSON格式。
学 Python 具体能干什么？
猿小白的博客
05-26 1240
Python 是一种功能强大、用途广泛的编程语言，因其简洁易读的语法和丰富的库生态系统而备受欢迎。
在linux服务器上使用tensorboard，错误记录
最新发布
wwwwzm的博客
05-30 478
1. 使用tensorboard命令时，不是从虚拟环境中找tensorboard，而是从（全局路径）中找（/home/ljx/.local/lib/python3.9/site-packages/tensorboard）是一个在 Unix-like 系统（包括 Linux 和 macOS）的命令行界面（如 Bash shell）中使用的命令。2.使用which命令， 查看使用的tensorboard的路径，发现使用的是全局路径，不是虚拟环境路径。是一个特殊的变量，它定义了操作系统搜索可执行文件的目录。
Pandas03
Bianca427的博客
05-27 1226
聚合计算时新增一列计算最大值与平均值的差值df.groupby('district').agg(最低工资=('salary', 'min'), 最高工资=('salary', 'max'), 平均工资=('salary', 'mean'), 最大值与均值差值=('salary', myfunc)).rename_axis(["行政区"])
深入理解Python中None和““的区别
m0_54701273的博客
05-27 788
在Python的世界里，None和空字符串""经常被用作默认值或用于表示缺省值的情况。尽管它们在某些语境下似乎可互换，但实际上None和""在Python中有着根本的区别。
self-attention with relative position representations
03-16
自注意力机制与相对位置表示。自注意力机制是一种用于处理序列数据的机制，它可以在不同位置上对序列中的元素进行加权聚合，以获得更好的表示。相对位置表示是一种用于表示序列中元素之间相对位置的方法，它可以帮助...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值