14 Positional Encoding （为什么 Self-Attention 需要位置编码）

已于 2023-10-22 09:56:36 修改
阅读量150 收藏
点赞数
分类专栏： 数字孪生 管理体系 数据中台 文章标签： 语言模型 人工智能
于 2023-10-21 16:56:09 首次发布
沧海之巅
本文链接：https://blog.csdn.net/linjie_830914/article/details/133963569
版权
本文探讨了Self-Attention机制中为何需要位置编码，解释了位置编码的作用和实现方式，以及其对解决长序列依赖问题的重要性。通过位置编码，模型能够识别词序信息，以增强对序列结构的理解。
摘要由CSDN通过智能技术生成

厚颜无耻的要个赞

Attention

优点：

  1. 解决了长序列依赖问题
  2. 可以并行

缺点：

  1. 开销变大了

  2. 既然可以并行，也就是说，词与词之间不存在顺序关系（打乱一句话，这句话里的每个词的词向量依然不会变），即无位置关系（既然没有，我就加一个，通过位置编码的形式加）

位置编码的问题

为什么需要位置编码

位置编码怎么做的

img

具体做法

做法 1

img

做法 2

img

为什么这么做有用

pos+K=5，我在计算第 5 个单词的位置编码的时候

pos=1，k=4

pos=2，k=3

img
沧海之巅
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
详解Self-attention与Transformer1
08-03
由于Self-attention机制对位置顺序不敏感，为了引入位置信息，通常会在输入向量上添加位置编码，这些编码是预先定义好的或者通过网络学习得到的，确保每个位置都有一个独特的标识。 与CNN相比，Self-attention可以...
详解Transformer中Self-Attention以及Multi-Head Attention
热门推荐
霹雳吧啦Wz
06-11 13万+
原文名称：Attention Is All You Need 原文链接：https://arxiv.org/abs/1706.03762 最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完tit_iti​时刻后的数据才能计算ti+1t_{i+1}ti+1​时刻的数据，但Transformer可以）。在这篇文章中作者提出了S
transformer:self-attention,muti-head attention,positional encoding
verse_armour的博客
12-15 245
transformer
Self -Attention、Multi-Head Attention、Cross-Attention
大鹏的专栏
11-24 3万+
Self -Attention是一端的注意力机制。Cross-Attention是两端的注意力机制，然后合起来。
一文搞定自注意力机制（Self-Attention）
markconca的博客
10-25 3万+
1 Self-Attention的概念2 Self-Attention的原理3 Self-Attention的作用4 Self-Attention的问题。
【Transformer】Transformer的简单了解：Positional Encoding、Self-attention、Batch 与 Layer Norm 等
magic_ll的博客
01-08 1412
自从2017年Transformer模型被提出以来，它已经从论文最初的机器翻译领域，转向语音，图像，视频等等方面的应用。最近的Segment Anything论文提出，阅读论文其中大量的transformer的在图像方面的应用。所以这里还是加紧记录下transformer相关内容。 transformer初了解 Positional Encoding（位置编码） Self-attention（自注意力机制） Batch & Layer Norm（批量归一化/层标准化） transformer的结
位置编码Positional Encoding
fb_941219的博客
03-23 5766
摘抄自这里。在以前的模型中，NLP的每个Sequence都是一个token一个token的输入到模型当中。比如有一句话是“我喜欢吃洋葱”，那么输入模型的顺序就是“我”，“喜”，“欢“，”吃“，”洋“，”葱”，一个字一个字的。上面的输入方式其实就引入了一个问题。一个模型每次只吃了一个字，那么模型只能学习到前后两个字的信息，无法知道整句话讲了什么。为了解决这个问题，Transformer模型引用了Self-attention来解决这个问题。
Positional Encoding - 位置编码
既然选择了远方 便只顾风雨兼程 - 永强
06-12 5239
Positional Encoding - 位置编码 1. Positional Encoding Since our model contains no recurrence and no convolution, in order for the model to make use of the order of the sequence, we must inject some information about the relative or absolute position of the tok
【Transformer系列】深入浅出理解Positional Encoding位置编码
IT菜鸟
09-14 1万+
【Transformer系列】深入浅出理解Positional Encoding位置编码
深入理解深度学习——注意力机制（Attention Mechanism）：位置编码（Positional Encoding）
冯·诺依曼
06-10 1万+
在处理词元序列时，循环神经网络是逐个的重复地处理词元的，而自注意力则因为并行计算而放弃了顺序操作。为了使用序列的顺序信息，通过在输入表示中添加位置编码（Positional Encoding）来注入绝对的或相对的位置信息。位置编码可以通过学习得到也可以直接固定得到。接下来描述的是基于正弦函数和余弦函数的固定位置编码。假设输入表示X∈Rn×d包含一个序列中n个词元的d维嵌入表示。位置编码使用相同形状的位置嵌入矩阵P∈Rn×d输出XP， 矩阵第i行、第2j列和2j1。
基于Pytorch实现原版Transformer-Attention-is-all-you-need-附项目源码.zip
05-24
Transformer的核心组件包括自注意力（Self-Attention）机制和位置编码（Positional Encoding）。自注意力允许模型在处理序列数据时，不仅考虑当前位置的上下文，还能同时考虑到序列中的其他位置，从而捕捉到全局依赖...
如何优雅地编码文本中的位置信息？三种positioanl encoding方法简述的副本.rar
10-18
三、自注意力位置编码（Self-Attention Positional Encoding） 自注意力位置编码是Transformer架构的变体中的一种创新，如Transformer-XL、Compressive Transformer等模型所采用。这种编码方式不再局限于预定义的...
为什么有的网络结构中只有attention层而没有transformer层
03-26
Transformer的架构还包含了其他组件，如位置编码（Positional Encoding）来保留序列信息，因为注意力机制本身不考虑元素的顺序；前馈神经网络（Feed-Forward Networks）用于进一步处理注意力机制得到的向量；以及...
解密Transformer：位置编码的神秘面纱
07-27
除了标准的位置编码，还有一些变体，如相对位置编码（Relative Positional Encoding），它通过计算序列中元素之间的相对位置来编码位置信息。这种方法在某些任务中表现出更好的性能。例如，在处理更长的序列时，相对...
零基础学习人工智能—Python—Pytorch学习（六）
kiba518的博客
08-21 884
前言 本文主要讲神经网络的上半部分。 这篇文章开始有很多公式了，这些公式都很简单，但是如果是不经常在脑海里思考公式的人，那可能需要多花点时间做一下自我训练，个人感觉，也就几天时间，就能把自己感觉给调整出来。 习惯了公式看下面内容就会轻松很多，另外如果要深入学习人工智能，熟练的认知公式也是个必须的事情。 另外，我发现我前面文章写的有歧义的地方还是挺多，虽然，已经改了一部分，但，可能还有没发现的，大...
天猫商品详情API：深度挖掘商品推荐与关联的新路径
2401_85789772的博客
08-20 770
天猫商品详情API是天猫开放平台提供的一项服务，旨在帮助开发者获取天猫平台上商品的详细信息，包括但不限于商品标题、价格、销量、描述、图片以及推荐与关联商品等。这一接口不仅为购物者提供了丰富的商品信息，也为商家和开发者提供了强大的数据支持，助力其优化商品展示策略，提升用户购物体验。天猫商品详情API为开发者提供了深入挖掘商品推荐与关联信息的新途径。通过合理利用这一接口，开发者可以实现精准的商品推荐与关联展示，提升用户体验和平台运营效率。
yolov8 出现loss 为nan
最新发布
zhaoluruoyan89的博客
08-21 314
这篇博客警示读者在购买用于深度学习的显卡时要避开那些导致RuntimeWarning: All-NaN slice encountered的问题。作者强调这些Tensor核心存在严重缺陷，不适宜进行深度学习任务，建议大家在选购时务必谨慎。方法二：将混合精度训练AMP 设置为False。方法一：降低cuda和pytorch 版本号。
基于Python星载气溶胶数据处理与反演分析
lwjnlqiqi的博客
08-21 1169
Python星载气溶胶数据处理与反演分析
self-attention改进
09-21
self-attention是一种神经网络中的注意力机制，它可以用于处理变长输入序列的建模问题。相较于传统的全连接网络，self-attention可以根据输入的不同长度动态生成不同的连接权重，从而更好地捕捉序列中的长距离依赖关系。self-attention的改进方法有多种，其中一种方法是利用多头注意力机制（multi-head attention），通过将注意力机制应用于多个子空间，可以更好地捕捉不同方面的特征。另外，还有一种改进方法是引入位置编码（positional encoding），可以对输入序列的位置信息进行编码，从而进一步提升self-attention的性能。通过这些改进方法，self-attention在处理变长输入序列的问题中具有更强的表达能力和灵活性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沧海之巅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值