位置编码 (Positional Encoding) 的生成及详细解释

最新推荐文章于 2025-03-09 21:43:35 发布
最新推荐文章于 2025-03-09 21:43:35 发布
阅读量1.6k 收藏 12
点赞数 15
分类专栏： informer 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51200050/article/details/139630545
版权

位置编码 (Positional Encoding) 的生成及详细解释

位置编码是Transformer模型中的一个重要组成部分，用于给输入序列添加位置信息，以弥补自注意力机制中缺乏顺序感的问题。位置编码通常基于正弦和余弦函数生成，其公式如下：

[ PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right) ] [ PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right) ]

其中：

  • ( pos ) 是位置索引，即时间步长。
  • ( i ) 是维度索引。
  • ( d_model ）是词向量的维度。

工作原理

位置编码通过上述公式生成一个与输入向量具有相同维度的编码向量。这个编码向量在每个位置上生成独特的值，使模型能够区分序列中的不同时间步。

详细步骤

  1. 初始化位置和维度：

    • 确定输入序列的长度 ( L ) 和词向量的维度 ( d_model )。

  2. 计算正弦和余弦值：

    • 对于每个位置 ( pos ) 和每个维度 ( i )，根据公式计算正弦和余弦值。

  3. 生成位置编

最低0.47元/天 解锁文章
Transformer中为什么需要引入位置编码Positional Encoding（附: keras代码实现）
捡起一束光的博客
09-15 3559
Transformer中的位置编码 Transformer模型彻底抛弃了RNN模型，我们知道循环神经网络本身是一种顺序结构，天然包含了句子之间的位置信息。但是Transformer中用Attention取代了RNN，这就导致了位置信息的缺失，模型就没有办法知道每个单词在句子中的相对位置和绝对位置信息。 I do not like the story of the movie, but I do like the cast. I do like the story of the movie, but I
为什么Transformer会出现位置编码（Positional Encoding）？
Cream_wyx的博客
07-16 2359
为什么Transformer会出现位置编码（Positional Encoding）？   Transformer被提出首先应用在NLP领域，处理的数据对象为语言的序列数据，既然是序列数据，则序列的顺序对于语言的表达是至关重要的。在这之前，RNN已经被提出用于解决NLP中的机器翻译、文本生成等任务，且RNN是按照序列顺序逐个对句子中的单词进行处理，使得序列的顺序自然而然地保存在模型中。而Transformer的输入是将句子中的所有单词一次性输入到网络中进行学习，这使得序列的顺序信息丢失。因此我们需要通过其他
【公式】Transformer模型中的位置编码公式解析
神经美学_茂森的博客
07-25 1326
在Transformer模型中，由于模型本身不具备处理序列数据位置信息的能力，因此需要引入位置编码来为模型提供序列中单词的位置信息。位置编码通过正弦波和余弦波函数生成，保证了位置的唯一性和相对位置关系的学习。位置编码与其他模型参数一起学习，使得Transformer能够更好地处理序列数据。PEpos2i​sin100002idpos​PEpos2i1​cos100002idpos​其中，pos表示位置，i表示维度，d表示位置编码的维度。
Positional Encoding | 位置编码【详解】
qq_23022733的博客
08-14 2549
transformer的作者刚开始说固定的位置编码和可学习的位置编码的效果是差不多的，后来证明固定的位置编码没有太大的必要，还不如省事直接使用可学习的位置编码，如下图，设置token的数量为10，token的特征向量长度为128，偶数项和奇数项的位置编码公式如下图所示，代码中，token_num是句子中的单词数量，embed_dim表示每个单词的特征向量长度，将对应位置的位置编码直接加在输入的单词上，如下图中的最后一行，为什么 attention 并不能赋予 token 位置信息？
【大模型知识点】位置编码——绝对位置编码，相对位置编码，旋转位置编码RoPE
最新发布
想买很多漂亮衣服但是买不起的博客
03-09 1534
本文介绍了大模型中常见的绝对位置编码和相对位置编码方法，如transformer的正余弦位置编码，可学习位置编码，RoPE和ABiLi
详解Transformer位置编码Positional Encoding
qkh1234567的博客
09-18 2537
提到 Transformer，大家就会联想到位置编码、注意力机制、编码器-解码器结构，本系列教程将探索 Transformer 的不同模块在故障诊断等信号分类任务中扮演什么样角色，到底哪些模块起作用？前言本期基于凯斯西储大学（CWRU）轴承数据，进行 Transformer 中位置编码 （ Positional Encoding） 的详细介绍，同时探索位置编码对故障分类任务的影响力。1 位置编码相关介绍1.1 数据中的顺序信息在任何一门语言中，词语的位置和顺序对句子意思表达都是至关重要的。传统的循环神经网络
Positional Encoding的原理和计算
weixin_44012382的博客
01-23 1万+
前言 最近一段时间在看研究生导师发的资料，因为导师是做自然语言处理和知识图谱方向的，所以之前学的CNN的知识暂时用不上啦。NLP和KG方面的知识我之前没怎么接触过，所以最近打算写一系列博文来记录一下学习过程，如果有说得不对的地方请大佬指正。 一、Positional Encoding的介绍 先说说Positional Encoding(位置编码)的由来。我们都知道传统做NLP邻域使用的模型大多是RNN模型(比如说LSTM、Bi-LSTM)，基于RNN模型的训练是一个迭代的过程，也就是...
位置编码（Positional Encoding）
彬彬侠的博客
02-13 1562
在自然语言处理中，位置编码（Positional Encoding） 是一种向量表示，用于编码输入序列中各个元素的位置信息。由于Transformer模型（及其变种）基于自注意力（Self-Attention）机制，它本身并不具备序列顺序的固有表示，因此必须通过位置编码来补充序列中的位置信息。
一文通透位置编码：从标准位置编码、旋转位置编码RoPE到ALiBi、LLaMA 2 Long(含NTK-aware简介)
热门推荐
结构之法 算法之道
10-27 5万+
关于位置编码和RoPE为彻底解决这个位置编码/RoPE的问题，我把另外两篇文章中关于这部分的内容抽取出来，并不断深入、扩展、深入，最终成为本文。
如何理解自然语言处理中的位置编码（Positional Encoding）
鬼马行天的博客
04-23 868
位置编码在使用Transformer及其变体进行序列处理任务中是必不可少的，因为它们为模型提供了处理单词顺序的能力。通过有效的位置编码，Transformer能够在全局范围内理解输入序列的上下文，提高模型的性能和灵活性。
Transformer模型详解02-Positional Encoding（位置编码）
liaomin416100569的专栏
04-29 4275
文章目录什么是位置编码连续有界为什么要有界为什么要连续位置编码的演变用整型值标记位置用[0,1]范围标记位置用二进制向量标记位置用周期函数（sin）来表示位置sin函数周期振幅，相移，垂直位移频率波长sin表示位置用sin和cos交替来表示位置线形变换——旋转sin和cos交替表示位置Transformer中位置编码方法Transformer 位置编码定义Transformer位置编码可视化 什么是位置编码 在transformer的encoder和decoder的输入层中，使用了Positional E
位置编码Positional Encoding
fb_941219的博客
03-23 7414
摘抄自这里。在以前的模型中，NLP的每个Sequence都是一个token一个token的输入到模型当中。比如有一句话是“我喜欢吃洋葱”，那么输入模型的顺序就是“我”，“喜”，“欢“，”吃“，”洋“，”葱”，一个字一个字的。上面的输入方式其实就引入了一个问题。一个模型每次只吃了一个字，那么模型只能学习到前后两个字的信息，无法知道整句话讲了什么。为了解决这个问题，Transformer模型引用了Self-attention来解决这个问题。
手撕Transformer（一）| 经典Positional_encoding 用法and代码详解
专注于人工智能的算法与应用
02-19 3814
本节我们主要介绍Transformer的重要的第一部分我会非常注重代码的解析~因为那是我最初学习的痛苦的来源，希望你们不受这些痛苦折磨哈哈哈。
位置编码
qq_38343151的博客
11-12 4067
由于注意力机制是不会保留序列位置信息的，因此需要该结构去用其他方法吸收位置信息。目前有三种主流的技术可以解决： 用正弦位置编码（Sinusoidal Position Encoding） 学习位置向量（类似词向量） 相对位置表达（Relative Position Representations） Motivation RNN中，第一个"I"与第二个"I"的输出表征不同，因为用于生成...
Transformer中的位置编码详解
qq_60245590的博客
04-19 1645
位置编码概述 位置编码的目的是为了补充序列的位置信息，这是因为自注意力机制本身不包含位置的概念（例如顺序信息）。位置编码的具体作用是，对于不同的输入序列成分，赋予其不同的位置标识，确保序列信息在不同的上下文中仍然，即使是相同的文本序列也因位置不同而有不同的含义。Transformers 使用的位置编码方法，其中每个位置/词素都被分配一个编号。到此，位置编码的输出是一个矩阵，其中每行的每一行代表序列中的一个特定词素与其位置信息相结合。下图演示了一个较小的位置编码矩阵示例的构成方式。位置编码矩阵。
PositionalEncoding类代码及论文原理理解
t765833631的博客
11-02 404
这里实现了一个正余弦的序列位置编码。序列位置编码可以使用线性函数表示，也可以通过训练学习得到，论文中提出使用正余弦的位置编码可以使模型预测出在训练阶段没有见过的更长的序列长度。此处我的疑问是代码中使用了exp和log与公式对应不上，可能是数学功底太差我推到不出来，希望之后能弄明白。
地图导航定位二维码如何制作呢？
互联网运营知识库
08-03 2万+
相信很多人在请柬上或者是宣传手册上，都有见过一个位置二维码。扫描这个二维码，就能查看目的地在地图上的位置了，再根据当前定位位置，搜索即可获得从当前位置到目的地的路线。 那么这样的导航定位二维码究竟是如何实现的呢？ 下面我们就来一起看看，如何制作地图定位导航二维码吧。 第一步，需要在百度地图（或者其它地图软件如高德地图、腾讯地图）上，搜索到需要的地址信息。这里先以百度地图以及北京八达岭长城为例。 第二步，找到地址后，点击分享链接按钮，获取URL链接地址的文本。 然后复制这个链接：https://j.map
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值