Transformer学习（4）：位置编码 Positional Encoding

最新推荐文章于 2024-10-16 18:47:39 发布
最新推荐文章于 2024-10-16 18:47:39 发布
阅读量746 收藏 10
点赞数 25
分类专栏： 机器学习 transfomer 文章标签： transformer 学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Life1213/article/details/142205580
版权

为什么需要位置编码

在自注意力编码中，所有 a a a的计算都并行同时执行得到对应的 b b b，可以并行就代表着 a a a之间是不存在先后顺序关系的，这存在问题。

在不使用位置编码时，将 a 2 a_2 a2​与 a 3 a_3 a3​的顺序打乱，不会影响 a 1 a_1 a1​输出的数据。
在这里插入图片描述

如何实现存在先后顺序

使用位置编码 p e i pe_i pei​，来使得 a i a_i ai​包含有位置信息。
具体做法：将 p e i pe_i pei​与 a i a_i ai​相加，得到新的 a i a_i ai​即可
在这里插入图片描述

怎么得到位置编码

1. 使用公式计算出位置编码

可以使用公式来计算出对应的位置编码，其中 p o s pos pos为当前 a a a所在的位置， i i i为向量中的第 i i i个维度。
通过这个公式就可以计算出各个位置的 a a a所对应的位置编码 p e pe pe
在这里插入图片描述
在这里插入图片描述

2. 使用可训练的位置编码

位置编码在训练过程中会不断改变

Life1213
关注
专栏目录
第十章（3）：Transformer之Positional encoding
安静到无声
10-27 2280
我在学习NLP的时候，围绕着我不懂得技术点，逐个击破，以此期望能够把各个模块理解的更深入，使我在今后的学习中，能够更深入的分析，让自己更通透。接下来切入正题，介绍下Transformer中需要使用的Positional encoding，它主要为Transformer这种并行计算模型，难以理解输入句子的语序而针对性设计的。
Transformer中为什么需要引入位置编码Positional Encoding（附: keras代码实现）
捡起一束光的博客
09-15 3342
Transformer中的位置编码 Transformer模型彻底抛弃了RNN模型，我们知道循环神经网络本身是一种顺序结构，天然包含了句子之间的位置信息。但是Transformer中用Attention取代了RNN，这就导致了位置信息的缺失，模型就没有办法知道每个单词在句子中的相对位置和绝对位置信息。 I do not like the story of the movie, but I do like the cast. I do like the story of the movie, but I
Transformer03：位置编码（Positional Encoding）
qq_35284513的博客
03-19 1357
位置编码是Transformer模型理解序列数据的一个关键组成部分。通过向模型提供关于序列中每个元素位置的信息，位置编码使得基于注意力的架构能够有效地处理语言等顺序数据。尽管其设计简单，位置编码却极大地增强了Transformer模型的能力，使其在多个自然语言处理任务中取得了前所未有的成功。
transformer学习笔记：Positional Encoding（位置编码）
weixin_48799576的博客
09-03 5338
对于任何一门语言，单词在句子中的位置以及排列顺序是非常重要的，它们不仅是一个句子的语法结构的组成部分，更是表达语义的重要概念。
Transformer 结构详解：位置编码 | Transformer Architecture: The Positional Encoding
我是菜鸡
04-22 1万+
😎使用正弦函数为模型添加位置信息什么是位置编码？为什么我们需要位置编码。提出的方法The intuition其他细节相对位置FAQ为什么位置编码是和词嵌入相加而不是将二者拼接起来？位置信息层层传递之后不会消失吗？为什么同时使用正弦和余弦？总结原文信息References 使用正弦函数为模型添加位置信息 Transformer是只基于自注意力机制的序列到序列架构。因为并行计算能力以及高性能。使得它在NLP领域中大受欢迎。
详解Transformer位置编码Positional Encoding
2401_85325557的博客
10-07 728
提到 Transformer，大家就会联想到位置编码、注意力机制、编码器-解码器结构，本系列教程将探索 Transformer 的不同模块在故障诊断等信号分类任务中扮演什么样角色，到底哪些模块起作用？
【Transformer系列】深入浅出理解Positional Encoding位置编码
热门推荐
IT菜鸟
09-14 2万+
【Transformer系列】深入浅出理解Positional Encoding位置编码
一文搞懂Transformer中的位置编码Positional Encoding
baidu_33000721的博客
04-09 1827
Transformer中Positional Encoding的思考
Transformer模型详解02-Positional Encoding（位置编码）
liaomin416100569的专栏
04-29 2943
文章目录什么是位置编码连续有界为什么要有界为什么要连续位置编码的演变用整型值标记位置用[0,1]范围标记位置用二进制向量标记位置用周期函数（sin）来表示位置sin函数周期振幅，相移，垂直位移频率波长sin表示位置用sin和cos交替来表示位置线形变换——旋转sin和cos交替表示位置Transformer中位置编码方法Transformer 位置编码定义Transformer位置编码可视化 什么是位置编码 在transformer的encoder和decoder的输入层中，使用了Positional E
关于Transformer中的位置编码(Positional Encoding)
qq_40519226的博客
09-19 180
关于Transformer中的位置编码（The Positional Encoding）
解密Transformer：位置编码的神秘面纱
07-27
### 解密Transformer：位置编码的神秘面纱 在深度学习领域，Transformer模型因其在自然语言处理（NLP）任务中的卓越表现而备受关注。与传统的循环神经网络（RNN）不同，Transformer并不直接处理序列数据的顺序信息...
通过在线编程彻底搞懂transformer模型之四：Positional Encoding位置编码
fribbler的博客
04-03 487
在本系列对大语言模型Transformer的讲解中，我会尽量把自己的理解用代码来复现，保证自己讲解的内容是可操作，可重复，可试验的，大家自己亲自写代码，观察输出，调试并找出问题；如果大家对我讲的内容和分享方式感兴趣，请大家关注点赞和收藏，后面还会有更多内容呈现
【人工智能学习之PaddleOCR快速上手】
Jiagym的博客
10-12 1205
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
MySQL数据库的详细学习步骤
2401_87352036的博客
10-11 1211
MySQL数据库的详细学习步骤可以归纳为以下几个阶段，每个阶段都包含了特定的学习内容和目标。
如何用3个月零基础入门网络安全？_网络安全零基础怎么学习
2401_84466224的博客
10-15 735
我们知道计算机最早是在西方发明出来的，很多名词或者代码都是英文的，甚至现有的一些教程最初也是英文原版翻译过来的，而且一个漏洞被发现到翻译成中文一般需要一个星期的时间，在这个时间差上漏洞可能都修补了。”答案是否定的，黑客用的电脑,不需要什么高的配置,只要稳定就行.因为黑客所使用的一些程序,低端CPU也可以很好的运行,而且不占什么内存.还有一个,黑客是在DOS命令下对进行的,所以电脑能使用到最佳状态!观看学习近十年所有0day挖掘的帖，然后搭建环境，去复现漏洞，去思考学习笔者的挖洞思维，培养自己的渗透思维。
论文及其创新点学习cvpr2022 On the Integration of Self-Attention and Convolution
qq_53536373的博客
10-13 402
论文创新点，将注意力机制 和卷积 相结合。
stm32单片机个人学习笔记9（TIM输入捕获）
2302_80867398的博客
10-13 225
从模式选择Reset模式可以实现自动清零计数器CNT。
苍穹外卖学习笔记(二十一)
₍˄·͈༝·͈˄*₎◞ ̑̑的博客
10-13 332
取消订单与再来一单
学习笔记——交换——STP（生成树）基本概念
最新发布
灵韵的博客
10-16 673
端口收到一个BPDU报文后，抽取该BPDU报文中累计根路径开销字段的值，加上该端口本身的路径开销即为累计根路径开销。从一个非根桥到达根桥的路径可能有多条，每一条路径都有一个总的开销值，此开销值是该路径上所有接收BPDU端口的端口开销总和(即BPDU的入方向端口)。STP交换机每一个端口都对应一个开销值，这个值表示数据通过端口发送时的开销，这个值与端口带宽有关，带宽越高，开销值越小。根路径开销是根据交换机之间的网段来说的，本地路径的开销也叫端口开销是针对本地的物理链路来说的相关的IETF的规定为。
Transformer中的位置编码：解决序列理解难题
比如Learned Positional Encoding（学习得到的位置编码）、Relative Positional Encoding（直接编码相对距离）以及更复杂的自适应位置编码，以进一步提升Transformer在处理序列信息方面的表现。 Positional ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值