理解Transformer论文中的positional encoding，和三角函数有什么关系

最新推荐文章于 2024-03-22 15:44:11 发布
最新推荐文章于 2024-03-22 15:44:11 发布
阅读量2.3k 收藏 13
点赞数 11
文章标签： Transformer position encode
原文链接：https://www.zhihu.com/question/347678607/answer/864217252
版权

理解Transformer论文中的positional encoding，和三角函数有什么关系

关注这个问题有一段时间了，一直没有看到太满意的回答，来讲一下我的见解。

首先，需要明确的是，建模位置信息(无论是绝对位置还是相对位置)并不是必须用到三角函数，否则fairseq和BERT中使用的positional embedding也不会奏效了。我想，作者在这里使用正余弦函数，只是根据归纳偏置和一些经验作出的选择罢了。

不妨从零构想一个位置编码的方法。首先，给定一个长为 [公式] 的文本，最简单的位置编码就是计数，即使用 [公式] 作为文本中每个字的位置编码了。当然这样的瑕疵非常明显，这个序列是没有上界的。设想一段很长的(比如含有500个字的)文本，最后一个字的位置编码非常大，这是很不合适的：1. 它比第一个字的编码大太多，和字嵌入合并以后难免会出现特征在数值上的倾斜；2. 它比一般的字嵌入的数值要大，难免会抢了字嵌入的「风头」，对模型可能有一定的干扰。

从这里，我们知道位置编码最好具有一定的值域范围，这样就有了第二个版本：使用文本长度对每个位置作归一化，得到 [公式] 。这样固然使得所有位置编码都落入 [公式] 区间，但是问题也是显著的：不同长度文本的位置编码步长是不同的，在较短的文本中紧紧相邻的两个字的位置编码差异，会和长文本中相邻数个字的两个字的位置编码差异一致。这显然是不合适的，我们关注的位置信息，最核心的就是相对次序关系，尤其是上下文中的次序关系，如果使用这种方法，那么在长文本中相对次序关系会被「稀释」。

再重新审视一下位置编码的需求：1. 需要体现同一个单词在不同位置的区别；2. 需要体现一定的先后次序关系，并且在一定范围内的编码差异不应该依赖于文本长度，具有一定不变性。我们又需要值域落入一定数值区间内的编码，又需要保证编码与文本长度无关，那么怎么做呢？一种思路是使用有界的周期性函数。在前面的两种做法里面，我们为了体现某个字在句子中的绝对位置，使用了一个单调的函数，使得任意后续的字符的位置编码都大于前面的字，如果我们放弃对绝对位置的追求，转而要求位置编码仅仅关注一定范围内的相对次序关系，那么使用一个sin/cos函数就是很好的选择，因为sin/cos函数的周期变化规律非常稳定，所以编码具有一定的不变性。简单的构造可以使用下面的形式

[公式]

其中 [公式] 用来调节位置编码函数的波长，当 [公式] 比较大时，波长比较长，相邻字的位置编码之间的差异比较小。

这样的做法还是有一些简陋，周期函数的引入是为了复用位置编码函数的值域，但是这种 [公式] 的映射，还是太单调：如果 [公式] 比较大，相邻字符之间的位置差异体现得不明显；如果 [公式] 比较小，在长文本中还是可能会有一些不同位置的字符的编码一样，这是因为 [公式] 空间的表现范围有限。既然字嵌入的维度是 [公式] ，自然也可以使用一个 [公式] 维向量来表示某个位置编码—— [公式] 的表示范围要远大于[公式] (醉酒的鸟儿永远飞不回家)。

显然，在不同维度上应该用不同的函数操纵位置编码，这样高维的表示空间才有意义。可以为位置编码的每一维赋予不同的 [公式] ；甚至在一些维度将 [公式] 替换为 [公式] …一种构造方法就是论文中的方法了

[公式]

[公式]

这里不同维度上 [公式] 的波长从 [公式] 到 [公式] 都有；区分了奇偶数维度的函数形式。这使得每一维度上都包含了一定的位置信息，而各个位置字符的位置编码又各不相同。这里可以顺便为

的疑问作一个可能的解释：为什么官方代码tensor2tensor的最初版本只是简单地分了两段，却没有什么性能差异呢？因为 [公式] 的交替使用只是为了使编码更「丰富」，在哪些维度上使用 [公式] ，哪些使用 [公式] ，不是很重要，都是模型可以调整适应的。

当然，我觉得深究这里的三角函数形式的位置编码没有太大意义。因为至少现在看来：1. 这个函数形式很可能是基于经验得到的，并且应该有不少可以替代的方法；2. 谷歌后期的作品BERT已经换用位置嵌入(positional embedding)了，这可能说明编码的方案有一定的问题(猜测)。

B站：阿里武
关注
第十章（3）：Transformer之Positional encoding
安静到无声
10-27 2250
我在学习NLP的时候，围绕着我不懂得技术点，逐个击破，以此期望能够把各个模块理解的更深入，使我在今后的学习中，能够更深入的分析，让自己更通透。接下来切入正题，介绍下Transformer中需要使用的Positional encoding，它主要为Transformer这种并行计算模型，难以理解输入句子的语序而针对性设计的。
如何理解Transformer论文中的positional encoding，和三角函数有什么关系？
李孟的博客
01-06 956
如何理解Transformer论文中的positional encoding，和三角函数有什么关系？
【AI理论学习】对Transformer中Positional Encoding的理解
小哲的博客
09-16 3177
在任何一门语言中，词语的位置和顺序对句子意思表达都是至关重要的。传统的RNN模型在处理句子时，以序列的模式逐个处理句子中的词语，这使得词语的顺序信息在处理过程中被天然的保存下来了，并不需要额外的处理。而对于Transformer来说，由于句子中的词语都是同时进入网络进行处理，顺序信息在输入网络时就已丢失。因此，Transformer是需要额外的处理来告知每个词语的相对位置的。其中的一个解决方案，就是论文中提到的。
理解Transformer中的位置编码
zhulinniao
03-02 9580
理解Transformer中的位置编码为什么要位置编码 为什么要位置编码 【文本分类】 I like this movie because it doesn’t have an overhead history. Positive I don’tlike this movie because it has an overhead history.     Negative 【命名实体识别】...
Positional Embedding与Positional Encoding的区别？
ningyanggege的博客
01-26 716
bert
Transformer架构：位置编码（sin/cos编码）
terry的博客
05-18 5576
对Transformer的位置编码方式的理解（三角函数编码，sin/cos编码）
关于Transformer中的Positional Encoding这件小事
Andrwin的博客
05-20 445
看到这个Positional Encoding完全不明白这是个啥。今天似乎搞懂了，整理一下。 众所周知RNN属鱼的记性不太好，学了后面忘了前面。 LTSM呢倒是一个字一个按照顺序来的，但是太慢啊，transformer是并行输入的，一次一个矩阵，这么搞要搞到地老天荒。 那么问题就来了，一次输入一批就失去了顺序，上下文没了。 这个时候Positional Encoding就要闪亮登场了，我给字一个‘’编号‘’不就好了，编号之间是存在顺序的，那么这样字和字之间也存在顺序了。 位置向量是怎么算出来的..
Transformer中的Positional Encoding详解
- **1.1 什么是Transformer模型** - Transformer模型是一种基于注意力机制的神经网络模型，由Vaswani等人于2017年提出，用于处理自然语言处理任务，取代了传统的循环神经网络和卷积神经网络结构。 - Transformer...
Positional Encoding的原理和计算
热门推荐
weixin_44012382的博客
01-23 1万+
前言 最近一段时间在看研究生导师发的资料，因为导师是做自然语言处理和知识图谱方向的，所以之前学的CNN的知识暂时用不上啦。NLP和KG方面的知识我之前没怎么接触过，所以最近打算写一系列博文来记录一下学习过程，如果有说得不对的地方请大佬指正。 一、Positional Encoding的介绍 先说说Positional Encoding(位置编码)的由来。我们都知道传统做NLP邻域使用的模型大多是RNN模型(比如说LSTM、Bi-LSTM)，基于RNN模型的训练是一个迭代的过程，也就是...
Transformer课程：理解语言的 Transformer 模型-位置编码及掩码 （Masking）
段智华的博客
11-25 701
Transformer课程：理解语言的 Transformer 模型-位置编码及掩码 （Masking） 目录 位置编码（Positional encoding）掩码 （Masking）参考文献星空智能对话机器人系列博客 位置编码（Positional encoding） 位置编码向量 加到嵌入（embedding）向量中， 嵌入向量没有对单词 的相对位置进行编码。因此， 加上位置编码后， 基于它们含义的相似度以及它们在句子中的位置，在 向量空间中离彼此更近。 计算位置编码的公式如下： def get_a
对Positional Embedding的sin-cos对的解释
m0_73929171的博客
01-16 1075
对sin cos对的理解，可以把他比喻成一个时钟的分针和时针（因为sin cos是一个单位元的概念，两个构成了一个单位元） Positonal Embedding 是在每两个维度中指定了一个时钟指针，然后呢如果想要另一个的Positional Embedding信息的话，我们可以去调这个时钟的指针，让他调整到下一个位置去
每日论文速递 | Embedding间的余弦相似度真的能反映相似性吗？
最新发布
zenRRan的博客
03-22 389
深度学习自然语言处理 分享整理：pp摘要：余弦相似度是两个向量之间角度的余弦值，或者说是两个向量归一化之间的点积。一种流行的应用是通过将余弦相似度应用于学习到的低维特征嵌入来量化高维对象之间的语义相似性。在实践中，这可能比嵌入向量之间的非归一化点积效果更好，但有时也会更糟。为了深入了解这一经验观察结果，我们研究了由正则化线性模型推导出的嵌入，其中的闭式解法有助于分析。我们通过分析推导出余弦相似性如...
Transformer输入嵌入：Input Embedding
m0_61899108的博客
11-25 6756
​学习 Transformer 该从那里起步呢？首先，当然是膜拜CV大佬，向大佬学习，这位大佬分析细致入理，写文幽默风趣，本文也是从这位大佬这里搬过来的（侵删）。这是大佬的知乎号：CW不要無聊的風格 。去繁就简，咱们直接开始！ ​
transformer学习笔记：Positional Encoding（位置编码）
weixin_48799576的博客
09-03 5323
对于任何一门语言，单词在句子中的位置以及排列顺序是非常重要的，它们不仅是一个句子的语法结构的组成部分，更是表达语义的重要概念。
关于 Positional Encoding的理解
Twilight's Blog
07-31 2069
encoding Sinusoidal Position Encoding PE(pos,2i)=sin⁡(pos100002idmodel)PE(pos,2i+1)=cos⁡(pos100002idmodel) \begin{aligned} P E_{(p o s, 2 i)} &=\sin \left(\frac{p o s}{10000^{\frac{2 i}{d_{\text {model}}}}}\right) \\ P E_{(p o s, 2 i+1)} &=\cos \le
如何优雅地编码文本中的位置信息？三种positioanl encoding方法简述
zenRRan的博客
03-31 1720
前言相信熟悉BERT的小伙伴对positional encoding（位置表示） 肯定都不会陌生~ 虽然positional encoding只是BERT中比较小的一个组成部分，但是实际...
[LLM] 自然语言处理---Transformer 位置编码介绍
摩登都市天空---专栏
09-14 2958
2017年来自谷歌的Vaswani等人提出了Transformer模型，一种新颖的纯粹采用注意力机制实现的Seq2Seq架构，它具备并行化训练的能力，拥有非凡的性能表现，这些特点使它深受NLP研究人员们的喜欢，成为NLP领域的标志性模型之一。因此，当人们提到Transformer模型时，多头注意力机制（Multi-Head Attention）成为人们讨论最多的创新点，正如前面所说，这种机制让Transformer变得非常强大。 其实，原文使用到了一种非常有意思的技巧——Positional Encodi
Transformer之十万个为什么？
白洞，白色的明天在等着我们
03-22 3295
1、什么是自注意力self-attention？2、Transformer为什么需要进行Multi-head Attention?3、self-attention为什么要使用Q、K、V？3、为什么Q、K、V代表了注意力？4、Q、K、V是怎么得到的5、多头是什么意思？6、Transformer在训练什么？7、Q、K矩阵相乘为什么最后要除以√dk?8、Transformer如何实现并行化？参
将swin transformer模型中的Positional Encoding形式替换为Sinusoidal Positional Encoding，并给出相应的pytorch代码
05-25
Swin Transformer使用的是Learned Positional Encoding，如果要将其替换为Sinusoidal Positional Encoding，需要进行一些修改。 首先，可以定义一个Sinusoidal Positional Encoding的函数，如下所示： ```python import math import torch import torch.nn as nn class SinusoidalPositionalEmbedding(nn.Module): def __init__(self, d_model, max_len=512): super().__init__() self.d_model = d_model self.max_len = max_len pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) pe = pe.unsqueeze(0).transpose(0, 1) self.register_buffer('pe', pe) def forward(self, x): x = x * math.sqrt(self.d_model) seq_len = x.size(1) pe = self.pe[:seq_len, :] pe = pe.repeat(x.size(0), 1, 1) x = x + pe.to(x.device) return x ``` 然后，在Swin Transformer的构造函数中，将使用Learned Positional Encoding的部分替换为Sinusoidal Positional Encoding，如下所示： ```python import torch import torch.nn as nn from einops.layers.torch import Rearrange class SwinTransformer(nn.Module): def __init__(self, img_size=224, patch_size=4, in_chans=3, num_classes=1000, embed_dim=96, depths=[2, 2, 18, 2], num_heads=[3, 6, 12, 24], window_size=7, mlp_ratio=4., qkv_bias=True, qk_scale=None, drop_rate=0., attn_drop_rate=0., drop_path_rate=0.): super().__init__() norm_layer = nn.LayerNorm self.num_classes = num_classes self.num_features = self.embed_dim = embed_dim # stochastic depth decay rule dpr = [x.item() for x in torch.linspace(0, drop_path_rate, sum(depths))] # stochastic depth decay rule # patch embedding self.patch_embed = nn.Conv2d(in_chans, embed_dim, kernel_size=patch_size, stride=patch_size) self.norm1 = norm_layer(embed_dim) # pos embedding self.pos_embed = SinusoidalPositionalEmbedding(embed_dim, max_len=(img_size//patch_size)**2+1) # swin transformer blocks self.blocks = nn.ModuleList([ SwinTransformerBlock(dim=embed_dim, num_heads=num_heads[i], window_size=window_size, shift_size=window_size // 2 if i == 0 else 0, mlp_ratio=mlp_ratio, qkv_bias=qkv_bias, qk_scale=qk_scale, drop=drop_rate, attn_drop=attn_drop_rate, drop_path=dpr[sum(depths[:i]):sum(depths[:i+1])]) for i in range(len(depths))]) # norm before classifier self.norm2 = norm_layer(embed_dim) # classification head self.head = nn.Linear(embed_dim, num_classes) if num_classes > 0 else nn.Identity() def forward_features(self, x): x = self.patch_embed(x) x = self.norm1(x) x = x.flatten(2).transpose(1, 2) x = self.pos_embed(x) for i, blk in enumerate(self.blocks): x = blk(x) x = self.norm2(x) return x def forward(self, x): x = self.forward_features(x) x = x.mean(dim=1) # global average pooling x = self.head(x) return x ``` 这样，就完成了Swin Transformer模型中Positional Encoding形式的替换。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值