关于Transformer中的Positional Encoding这件小事

最新推荐文章于 2024-09-18 11:57:45 发布
最新推荐文章于 2024-09-18 11:57:45 发布
阅读量457 收藏 3
点赞数
分类专栏： 深度学习NLP方向 文章标签： transformer Positional Emb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Andrwin/article/details/117069009
版权
本文介绍了Transformer模型中Positional Encoding的重要性，它用于保留序列信息，弥补并行处理带来的顺序丢失问题。通过不同位置的sin和cos函数组合，生成独一无二的位置向量，确保每个词有其特定的位置标识。Positional Encoding的矩阵与词嵌入相加作为模型输入。
摘要由CSDN通过智能技术生成

看到这个Positional Encoding完全不明白这是个啥。今天似乎搞懂了，整理一下。

众所周知RNN属鱼的记性不太好，学了后面忘了前面。

LTSM呢倒是一个字一个按照顺序来的，但是太慢啊，transformer是并行输入的，一次一个矩阵，这么搞要搞到地老天荒。

那么问题就来了，一次输入一批就失去了顺序，上下文没了。

这个时候Positional Encoding就要闪亮登场了，我给字一个‘’编号‘’不就好了，编号之间是存在顺序的，那么这样字和字之间也存在顺序了。

位置向量是怎么算出来的呢？注意哦，是位置向量，并不是位置嵌入，这和BERT里面的Positional Embbeding不一样。

也就是奇数用cos 偶数用sin。众所周知三角函数具有周期性，那么周期性是不是一种顺序信息？

原文里面把这个周期设定在2π到1W*2π之间，用sin和cos组合就可以组合出独一无二的位置信息，即每个词都能得到不重复的不同周期的sin和cos组成出来的位置信息。

 

那我们整体看一下：

现在我有一个已经做好的词表和对应的词嵌入。V [vocab size, embbeding dimension] 括号里的是这个矩阵的尺寸。

vocab size是词表里面词的

最低0.47元/天 解锁文章
訢詡
关注
专栏目录
第十章（3）：Transformer之Positional encoding
安静到无声
10-27 2360
我在学习NLP的时候，围绕着我不懂得技术点，逐个击破，以此期望能够把各个模块理解的更深入，使我在今后的学习中，能够更深入的分析，让自己更通透。接下来切入正题，介绍下Transformer中需要使用的Positional encoding，它主要为Transformer这种并行计算模型，难以理解输入句子的语序而针对性设计的。
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 位置编码（positional_encoding）
段智华的博客
09-12 699
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 位置编码（positional_encoding） 目录 NLTK自然语言工具包NLTK数据集位置编码（Positional encoding）Adding positional encoding to the embedding vector星空智能对话机器人系列博客 NLTK自然语言工具包 NLTK是构建Python程序以处理人类语言数据的领先平台。它为50多个语料库和词汇资源（如WordNet）提供了易于使用的界面，
Positional Encoding的原理和计算
热门推荐
weixin_44012382的博客
01-23 1万+
前言 最近一段时间在看研究生导师发的资料，因为导师是做自然语言处理和知识图谱方向的，所以之前学的CNN的知识暂时用不上啦。NLP和KG方面的知识我之前没怎么接触过，所以最近打算写一系列博文来记录一下学习过程，如果有说得不对的地方请大佬指正。 一、Positional Encoding的介绍 先说说Positional Encoding(位置编码)的由来。我们都知道传统做NLP邻域使用的模型大多是RNN模型(比如说LSTM、Bi-LSTM)，基于RNN模型的训练是一个迭代的过程，也就是...
位置编码Positional Encoding
fb_941219的博客
03-23 6619
摘抄自这里。在以前的模型中，NLP的每个Sequence都是一个token一个token的输入到模型当中。比如有一句话是“我喜欢吃洋葱”，那么输入模型的顺序就是“我”，“喜”，“欢“，”吃“，”洋“，”葱”，一个字一个字的。上面的输入方式其实就引入了一个问题。一个模型每次只吃了一个字，那么模型只能学习到前后两个字的信息，无法知道整句话讲了什么。为了解决这个问题，Transformer模型引用了Self-attention来解决这个问题。
详解Transformer位置编码Positional Encoding
最新发布
qkh1234567的博客
09-18 1452
提到 Transformer，大家就会联想到位置编码、注意力机制、编码器-解码器结构，本系列教程将探索 Transformer 的不同模块在故障诊断等信号分类任务中扮演什么样角色，到底哪些模块起作用？前言本期基于凯斯西储大学（CWRU）轴承数据，进行 Transformer 中位置编码 （ Positional Encoding） 的详细介绍，同时探索位置编码对故障分类任务的影响力。1 位置编码相关介绍1.1 数据中的顺序信息在任何一门语言中，词语的位置和顺序对句子意思表达都是至关重要的。传统的循环神经网络
浅谈Positional Encoding(位置编码)和WordPiece
shawroad的博客
04-21 3863
1.positional encoding
对Transformer中Positional Encoding的理解
一步一脚印
10-07 2283
Transformer是由Encoder和Decoder两大部分组成，首先对于文本特征，需要进行Embedding，由于transformer抛弃了Rnn的结构，不能捕捉到序列的信息，交换单词位置，得到相应的attention也会发生交换，并不会发生数值上的改变，所以要对input进行Positional Encoding。Positional encoding和input embedding是同等维度的，所以可以将两者进行相加，的到输入向量。
transformer中的positional encoding(位置编码)
qq_32172681的博客
05-19 1316
https://blog.csdn.net/Flying_sfeng/article/details/100996524
Transformer之Positional encoding
08-08
Transformer之Positional encoding
Transformer中为什么需要引入位置编码Positional Encoding（附: keras代码实现）
捡起一束光的博客
09-15 3372
Transformer中的位置编码 Transformer模型彻底抛弃了RNN模型，我们知道循环神经网络本身是一种顺序结构，天然包含了句子之间的位置信息。但是Transformer中用Attention取代了RNN，这就导致了位置信息的缺失，模型就没有办法知道每个单词在句子中的相对位置和绝对位置信息。 I do not like the story of the movie, but I do like the cast. I do like the story of the movie, but I
Transformer03：位置编码（Positional Encoding）
qq_35284513的博客
03-19 1374
位置编码是Transformer模型理解序列数据的一个关键组成部分。通过向模型提供关于序列中每个元素位置的信息，位置编码使得基于注意力的架构能够有效地处理语言等顺序数据。尽管其设计简单，位置编码却极大地增强了Transformer模型的能力，使其在多个自然语言处理任务中取得了前所未有的成功。
关于 Positional Encoding的理解
Twilight's Blog
07-31 2078
encoding Sinusoidal Position Encoding PE(pos,2i)=sin⁡(pos100002idmodel)PE(pos,2i+1)=cos⁡(pos100002idmodel) \begin{aligned} P E_{(p o s, 2 i)} &=\sin \left(\frac{p o s}{10000^{\frac{2 i}{d_{\text {model}}}}}\right) \\ P E_{(p o s, 2 i+1)} &=\cos \le
Transformer中的Positional Encoding
qq_33932925的博客
09-16 518
参考资料：https://wmathor.com/index.php/archives/1453/ 首先你需要知道，Transformer 是以字作为输入，将字进行字嵌入之后，再与位置嵌入进行相加（不是拼接，就是单纯的对应位置上的数值进行加和） 需要使用位置嵌入的原因也很简单，因为 Transformer 摈弃了 RNN 的结构，因此需要一个东西来标记各个字之间的时序 or 位置关系，而这个东西，就是位置嵌入 One possible solution to give the model
transformer学习笔记：Positional Encoding（位置编码）
weixin_48799576的博客
09-03 5369
对于任何一门语言，单词在句子中的位置以及排列顺序是非常重要的，它们不仅是一个句子的语法结构的组成部分，更是表达语义的重要概念。
深度学习常用公式及其实现
qq_37217876的博客
02-06 1875
位置编码 #公式1 def get_positional_encoding(max_seq_len,embed_dim): #初始化一个positional encoding #embed_dim: 字嵌入维度 #max_seq_len: 最大序列长度 positional_encoding = np.array([[pos/np.power(10000,2*i/embed_dim) for i in range(embed_dim)]
如何优雅地编码文本中的位置信息？三种positioanl encoding方法简述
zenRRan的博客
03-31 1748
前言相信熟悉BERT的小伙伴对positional encoding（位置表示） 肯定都不会陌生~ 虽然positional encoding只是BERT中比较小的一个组成部分，但是实际...
透彻分析Transformer中的位置编码（positional enconding）
qq_43892462的博客
11-30 2839
Transformer中为什么要使用位置编码positional encoding
深度学习入门--Transformer中的Positional Encoding详解
qq_15534667的博客
04-26 4795
Transformer中的Positional Encoding详解 Positional EncodingTransformer中的Positional Encoding详解为什么要有Postional EncodingEncoding的选择Postional Encoding公式推导变换实现代码编码可视化 为什么要有Postional Encoding 因为Self-Attention相对于传统的RNN在输入计算时没有输入先后顺序，而是采用并行化的思想来加快运算，这样Self-Attention在前一个
将swin transformer模型中的Positional Encoding形式替换为Sinusoidal Positional Encoding，并给出相应的pytorch代码
05-25
然后，在Swin Transformer的构造函数中，将使用Learned Positional Encoding的部分替换为Sinusoidal Positional Encoding，如下所示： ```python import torch import torch.nn as nn from einops.layers.torch ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值