Transformer的位置编码笔记（positional encoding）

最新推荐文章于 2024-05-29 18:07:16 发布
最新推荐文章于 2024-05-29 18:07:16 发布
阅读量3.1k 收藏 44
点赞数 21
文章标签： transformer 位置编码 正余弦函数 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59113542/article/details/129261342
版权

一、为什么Transformer需要对输入进行位置编码

因为Transformer的输入并没有内涵位置信息，同样的词在不同位置，或者同一个序列以不同顺序输入，对应的词间都会得到相同的注意力权重和输出，但是在NLP领域，词的顺序会极大地影响句子的含义。

句子1：小明喜欢上了小红

句子2：小红喜欢上了小明

对于这两个句子，分词、embedding处理后得到的词向量是相同的，都是“小红”、“小明”、“喜欢”、“上”、“了” 对应的词向量，它们会以下图的方式计算self-attention

图一

在输入Transformer模型时，只是词向量的顺序不同，但是在计算self-attention时（以“小红”为例，用小红的q，分别与其他token的k相乘，计算相关性a，然后在呈上相应的v的到向量）

图二

所以，哪怕是顺序不同，每个token对应的词向量b 依旧不变，这个问题RNN就不需要考虑，因为在RNN模型中，token是一个接一个进入其中的，它们进入的顺序已经隐含了位置信息。

二、Transformer的Positional Encoding是如何进行确定位置信息的呢？

首先说一下Transformer中位置编码是使用正余弦函数进行编码的，公式如下：

看到这个，肯定会有小伙伴提出疑问了，为什么是sin()、cos()函数呢？为什么里面是10000呢？小小脑袋，大大问号❓❓❓ 别急别急，咱们一个一个来。

1、为什么是sin()、cos()函数呢？

正如图二所示，在求self-attention时，先求qi与kj相乘，求贡献力度aj，然后再用贡献力度aj 乘 vj，之后在相加，得出第i个输入对应的encoder输出。（艾玛，太抽象了，建议看图二）

可以看到，q * k展开之后的第二项，可以理解为绝对位置，就是token(i)和token(j)分别对应的位置P(i)、P(j)，，，最后一项，既包括pi也包括pj，和两个位置都有关。

这能说明式子展开之后，已经具备了绝对位置信息，还没有具备相对位置信息，但是有一项表达式和两个位置都有关（最后一项），那我们能不能将最后一项通过人为设定P(x)的表达式，让其隐含相对信息呢？（为什么要希望同时具备绝对位置、相对位置？因为这样更能表示两个变量之间的具体位置呀）

答案是肯定的，这就是位置编码的由来，也就是上面那个公式，具体推导如下：

那么如何才能实现简化之后的式子呢？？？ 主要是这个g(x)函数怎么构造呢，当时的研究人员就绞尽脑汁的想啊想啊，突然灵光一现，想到了正余弦函数：

这样使用正余弦函数，恰好能满足g(x)的需求，能完成我们的设想。这就是正余弦函数的由来。👏👏👏

那对于多维的编码来说呢，由于内积满足叠加性，更高维度的编码可以看成两两一组的结合：

  1. 为什么里面是呢？

那么通过一个相似公式，我们就把问题转换为积分的渐进估计问题了，把这积分的图像画出来，观察一下：

随着（m-n）的增大，也就是相对距离的增大，积分结果逐渐下降。

可以看到，这里做了很多实验，验证那个数值比较好一些，但是像10000对应的橙色的曲线一定是最好的吗？好像并不是，，，如果让我们选的话，好像1000对应的 蓝线 更好一些。 随意这个就是研究人员选取的，没必要太过于纠结为什么是10000.

霄耀在努力
关注
  • 21
    点赞
  • 踩
  • 44
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
Transformer中为什么需要引入位置编码Positional Encoding（附: keras代码实现）
捡起一束光的博客
09-15 3204
Transformer中的位置编码 Transformer模型彻底抛弃了RNN模型，我们知道循环神经网络本身是一种顺序结构，天然包含了句子之间的位置信息。但是Transformer中用Attention取代了RNN，这就导致了位置信息的缺失，模型就没有办法知道每个单词在句子中的相对位置和绝对位置信息。 I do not like the story of the movie, but I do like the cast. I do like the story of the movie, but I
transformer中的positional encoding(位置编码)
qq_32172681的博客
05-19 1250
https://blog.csdn.net/Flying_sfeng/article/details/100996524
透彻分析Transformer中的位置编码（positional enconding）
qq_43892462的博客
11-30 2690
Transformer中为什么要使用位置编码positional encoding
两种位置嵌入方式——nn.Embedding和使用正/余弦函数
最新发布
YHKKun的博客
05-29 483
的方法可能需要更多的训练数据来学习有效的位置表示，但它允许模型自由地学习最适合任务的位置编码；而正弦和余弦位置嵌入则提供了一种无需额外训练参数的、固定的位置编码方式，它对于长度可变的序列特别有用。如果处理的是长度可变的序列，或者想要减少模型的数量，那么使用正弦和余弦函数生成位置嵌入可能更为合适。：对于较短的序列，使用这种方法可能会引入一些不必要的信息冗余，因为嵌入是基于任意长度的序列设计的。：与通过训练学习的嵌入相比，这种方法提供的位置嵌入是固定的，可能无法根据特定任务进行调整。
transformer中的位置编码
薛定谔的猫头咕咕咕
04-12 2719
背景：   各种transformer都含有一项关键的技术——位置编码（position encoding），它可以提升模型对位置信息的感知能力，弥补了S elf Attention机制中位置信息的缺失；   绝对位置编码直接将位置的信息加入到现有的特征中。带有绝对位置编码的Self Attention 计算公式如式1所示： att=(Xi+pi)TWqTWk(Xj+pj)(1)att = (X_i+p_i)^TW_q^TW_k(X_j +p_j)\tag1att=(Xi​+pi​)TWqT​Wk​(Xj​
Transformer的初步了解
weixin_53313119的博客
10-17 137
Transformer的初步认识 Transformer在nlp自然语言处理方面有了很多的成功，而在CV中使用是一大创新，Transformer模型摒弃了固有的定式，并没有用任何CNN或者RNN的结构，使用注意力机制。 注意力机制好比是人的注意力通过量化，得到你在哪一方面比如某个像素点特别注意、某一区域的图形特别留意，某一词语在某一领域使用频率高，从而实现量化。在bank银行的文本处理中，大概率会学习去关注类似 money、loan贷款这样的词，而这些词当然也会被在解码时频繁使用 Transformer模型
Transformer架构：位置编码（sin/cos编码）
terry的博客
05-18 3827
对Transformer的位置编码方式的理解（三角函数编码，sin/cos编码）
一文搞懂Transformer的位置编码
xian0710830114的专栏
10-08 8009
本文介绍Transformer的位置编码，有图有表有推导，看不懂你打我！！！在Transformer出现以前，NLP任务大多是以RNN、LSTM为代表的循环处理方式，即一个token一个token的输入到模型当中。这种设计存在天生的缺陷。为了解决这些缺陷，Transformer把token的顺序信号加到词向量上帮助模型学习这些信息，这就位置编码（Positional Encoding）。接下来的内容不会涉及Self-Attention等牛逼的创新设计，只讨论位置编码，希望对大家有所帮助。
Transformer——位置编码器&&Embedding
maggieyiyi的博客
09-22 1202
输入：我爱你巴拉巴拉巴拉巴拉巴划分为12个字，每个字是512维度的向量。
Transformer算法理解（1）-位置编码
jin_tmac's studio
09-07 948
学习Transformer按照这个图从左到右，从encoder 到decoder逐层解析，首先一个序列输入inputs经过embeding词嵌入之后，加上了Positional Encoding。这是因为Transformer完全基于self-attention机制，不同于RNN，模型并没有捕捉顺序序列的能力，也就是说无论句子的结构怎么打乱，Transformer都会得到类似的结果。这么设计的原因是考虑到在NLP任务中，除了单词的绝对位置，单词的相对位置也非常重要。的编码可以表示为位置。
举例理解transformer中的位置编码
qq_41915623的博客
06-07 7798
​ 在transformer的结构图中，由一个“Positional Encoding”，即位置编码，查看了以下资料后，稍微有点儿理解了，记录于此。​ 由于transformer是并行化运算，所以输入的信息中没有位置信，而在语音文本中，绝大部分都是有语序的。例如：我爱你，要是翻译成’“You love me”，那意思就完全不一样了。于是，就有了位置编码，其作用就是让输入数据携带位置信息，是模型能够找出位置特点。​ 在transformer中的位置编码中，其编码公式如下： PE(pos,2i)=sin(
Transformer之Positional encoding
08-08
Transformer之Positional encoding
Transformer的位置编码解释.docx
09-16
在 Transformer 模型中，位置编码（Positional Encoding）是一种重要的技术，用于捕捉序列中的位置信息。下面我们将详细解释 Transformer 中的位置编码，为什么使用三角函数，并探讨位置编码的必要性。 1. 位置编码...
Transformer学习笔记
08-07
Tranformer源码
transformer论文笔记及思维导图
03-12
transformer论文笔记及思维导图，自留。推荐下列课程 【Transformer论文逐段精读【论文精读】】 https://www.bilibili.com/video/BV1pu411o7BE/?share_source=copy_web&vd_source=3028d9bd754f243aee4c850f06ac7fef ...
Python Transformer模型笔记.md
08-17
本文首先介绍了Transformer模型的背景、思想和核心机制,然后重点介绍了Transformer的两个关键组件:自注意力机制和多头注意力机制,给出了具体的示例代码。最后讨论了Transformer模型在自然语言处理中的两个典型应用:...
深入理解transformer中的位置编码
热门推荐
qq_43391414的博客
10-31 1万+
啊打发
为什么Transformer会出现位置编码（Positional Encoding）？
Cream_wyx的博客
07-16 2076
为什么Transformer会出现位置编码（Positional Encoding）？   Transformer被提出首先应用在NLP领域，处理的数据对象为语言的序列数据，既然是序列数据，则序列的顺序对于语言的表达是至关重要的。在这之前，RNN已经被提出用于解决NLP中的机器翻译、文本生成等任务，且RNN是按照序列顺序逐个对句子中的单词进行处理，使得序列的顺序自然而然地保存在模型中。而Transformer的输入是将句子中的所有单词一次性输入到网络中进行学习，这使得序列的顺序信息丢失。因此我们需要通过其他
【Transformer系列2】Transformer结构位置编码的详细解析1（相对位置关系的推导证明与个人理解）
呆呆象呆呆的博客
05-29 3079
1、Attention is all you need 中的位置编码 1.1 部分论文解释截图 中文翻译为位置编码（后面用PE代替）。这个操作，直观上非常容易理解，就是对序列中的词的位置进行编码。但是，原文并没有对这种新颖的位置编码方式作细致的讲解。对很多人来说，依然一头雾水。因此，本博客旨在让大家真正理解位置编码的原理。 1.2 在公式形成中的考量 1.2.1 引入PE的意义 对于任何一门语言，单词在句子中的位置以及排列顺序是非常重要的，它们不仅是一个句子的语法结构的组成部分，更是表达语义的重要概念。一
将swin transformer模型中的Positional Encoding形式替换为Sinusoidal Positional Encoding，并给出相应的pytorch代码
05-25
Swin Transformer使用的是Learned Positional Encoding，如果要将其替换为Sinusoidal Positional Encoding，需要进行一些修改。 首先，可以定义一个Sinusoidal Positional Encoding的函数，如下所示： ```python import math import torch import torch.nn as nn class SinusoidalPositionalEmbedding(nn.Module): def __init__(self, d_model, max_len=512): super().__init__() self.d_model = d_model self.max_len = max_len pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) pe = pe.unsqueeze(0).transpose(0, 1) self.register_buffer('pe', pe) def forward(self, x): x = x * math.sqrt(self.d_model) seq_len = x.size(1) pe = self.pe[:seq_len, :] pe = pe.repeat(x.size(0), 1, 1) x = x + pe.to(x.device) return x ``` 然后，在Swin Transformer的构造函数中，将使用Learned Positional Encoding的部分替换为Sinusoidal Positional Encoding，如下所示： ```python import torch import torch.nn as nn from einops.layers.torch import Rearrange class SwinTransformer(nn.Module): def __init__(self, img_size=224, patch_size=4, in_chans=3, num_classes=1000, embed_dim=96, depths=[2, 2, 18, 2], num_heads=[3, 6, 12, 24], window_size=7, mlp_ratio=4., qkv_bias=True, qk_scale=None, drop_rate=0., attn_drop_rate=0., drop_path_rate=0.): super().__init__() norm_layer = nn.LayerNorm self.num_classes = num_classes self.num_features = self.embed_dim = embed_dim # stochastic depth decay rule dpr = [x.item() for x in torch.linspace(0, drop_path_rate, sum(depths))] # stochastic depth decay rule # patch embedding self.patch_embed = nn.Conv2d(in_chans, embed_dim, kernel_size=patch_size, stride=patch_size) self.norm1 = norm_layer(embed_dim) # pos embedding self.pos_embed = SinusoidalPositionalEmbedding(embed_dim, max_len=(img_size//patch_size)**2+1) # swin transformer blocks self.blocks = nn.ModuleList([ SwinTransformerBlock(dim=embed_dim, num_heads=num_heads[i], window_size=window_size, shift_size=window_size // 2 if i == 0 else 0, mlp_ratio=mlp_ratio, qkv_bias=qkv_bias, qk_scale=qk_scale, drop=drop_rate, attn_drop=attn_drop_rate, drop_path=dpr[sum(depths[:i]):sum(depths[:i+1])]) for i in range(len(depths))]) # norm before classifier self.norm2 = norm_layer(embed_dim) # classification head self.head = nn.Linear(embed_dim, num_classes) if num_classes > 0 else nn.Identity() def forward_features(self, x): x = self.patch_embed(x) x = self.norm1(x) x = x.flatten(2).transpose(1, 2) x = self.pos_embed(x) for i, blk in enumerate(self.blocks): x = blk(x) x = self.norm2(x) return x def forward(self, x): x = self.forward_features(x) x = x.mean(dim=1) # global average pooling x = self.head(x) return x ``` 这样，就完成了Swin Transformer模型中Positional Encoding形式的替换。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值