Transformer的PE(position embedding),即位置编码理解

最新推荐文章于 2024-08-21 19:19:40 发布
最新推荐文章于 2024-08-21 19:19:40 发布
阅读量9.9k 收藏 33
点赞数 8
文章标签： transformer 深度学习 自然语言处理 计算机视觉 位置编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44442727/article/details/126505076
版权

Transformer 位置编码 词向量 sin-cos函数 自然语言处理
关键词由CSDN通过智能技术生成

背景：

最近要搞理论学习了，先前搞了大半年的工程，又要捡起一些理论原理，现在还是从transformer熟悉理解一下，争取吃透。
关于transformer的经典介绍和资料也一大堆，我就不展开来讲了，碰到了一些一时没太想明白的问题，就记一下，也当是重新理解一遍。

在这里插入图片描述
transformer的输入要么是词向量或是块状处理了的图像，分别用于自然语言处理和计算机视觉领域。
在自然语言处理中，原始的输入肯定是某种文字形式的语言，但是要送进机器处理要先进行编码，一般有word2vec等方式转化为词向量。

词向量之间需要有一个相对位置关系，如果全部不分序输入那处理肯定不方便，不同词之间组合意思也会发生变化，于是就要给词向量加位置信息。

普通的加一个位置信息，词量大时不利于计算，于是transformer里面用了一种位置编码方式，把位置信息作为词向量的一部分输入信息一起送入网络进行处理，而且获得了不错的效果，一开始位置编码也没太看明白，多看了一些资料后也有一些大致了解。

Transformer 中使用位置 Embedding 保存单词在序列中的相对或绝对位置。
在这里插入图片描述
这是位置向量函数的定义，经过多番解读，我现在的理解是：

1、表示方法：

假设某种语言的每个单词都可以嵌入成254个长度的向量，即一个单词的长度是254，

假设单词嵌入并且组成batch后，shape为(b,N,254)，N是序列最大长度，即最长的一句话包含的单词个数为N，254是每个单词的嵌入向量长度,b是batch，为了便于组成batch(不同训练句子单词个数肯定不一样)进行训练，可以简单统计所有训练句子的单词个数，取最大即可，假设统计后发现待翻译句子最长是10个单词，那么编码器输入是10x254,batch为1 则输入维度是（1，10，254）.

因为位置向量长度要和词向量相加，需要长度保持一致，所以位置向量的维度为(1,N,254)，N表示N个单词对应的N个位置，每个位置采用254长度向量进行表示。
在这里插入图片描述

2、transformer采用sin-cos函数进行表示：

在这里插入图片描述
其中，pos对应N，范围是0~N，表示词向量长度为N的某个单词的位置
i 表示某个单词的表示向量的最小单位的位置，范围是0-253；d表示长度单词词向量长度的最大值，即254

进行单词表示时，把表示向量的最小单位按位置进行划分，偶数用sin表示，奇数用cos表示，按照位置顺序进行拼接

在这里插入图片描述
如上图，纵向是position，表示一个句子的长度，此处是50，说明该句子包含50个单词，即上面的N;
横向表示每个单词的词向量长度，此处是128，即上文的254. 另1/50的横向条表示一个单词，图中画了3条，对应3个单词。

下面几幅图同理：
在这里插入图片描述
在这里插入图片描述

附上几个有帮助的链接以供参考，是查找过程觉得比较有用的：
https://zhuanlan.zhihu.com/p/338817680
https://zhuanlan.zhihu.com/p/308301901
https://kazemnejad.com/blog/transformer_architecture_positional_encoding/
http://jalammar.github.io/illustrated-transformer/

清梦枕星河~
关注
解密Transformer：位置编码的神秘面纱
07-27
Transformer是一种基于自注意力机制的神经网络架构，它在自然语言处理（NLP）领域取得了革命性的进展。最初由Vaswani等人在2017年的论文《Attention Is All You Need》中提出，主要用于机器翻译任务，但随后被广泛应用于各种序列建模任务。 以下是Transformer架构的一些关键特点： 1. **自注意力机制**：允许模型在编码和解码过程中直接考虑到序列中的所有位置，而不是像循环神经网络（RNN）那样按顺序处理。 2. **并行处理**：由于自注意力机制，Transformer可以并行处理序列中的所有元素，这大大提高了训练效率。 3. **编码器-解码器架构**：通常包括多个编码器（encoder）层和解码器（decoder）层，用于处理输入序列和生成输出序列。 4. **多头注意力**：模型可以同时从不同的角度学习序列的不同表示，这增强了模型捕获信息的能力。 5. **位置编码**：由于Transformer本身不具备捕捉序列顺序的能力，因此需要位置编码来提供序列中单词的位置信息。 6. **前馈网络**：在每个编码器和解码器层中，自
Transformer的position embedding
weixin_37539396的博客
05-07 5233
1. position embedding 位置编码 我们为什么要引入位置编呢？主有以下几个原因： 文本是时序型数据，词与词之间的顺序关系往往影响整个句子的含义。 transformer模型的self-attention层并没有包含位置信息，即一句话中词语在不同的位置时在transformer中是没有区别的。 我们要想让位置信息参与训练，就要构造一个跟输入embedding维度一样的矩阵，然后...
Transformer 模型图文详解
AI全栈 和 IT 编程相关分享
08-02 2418
Transformer 架构是 google 在 2017 年的 《Attention Is All You Need》 论文中提出，在 NLP 的多个任务上取得了非常好的效果，可以说目前 NLP 发展都离不开transformer。最大特点是抛弃了传统的 CNN 和 RNN，整个网络结构完全是由Attention 机制组成。
Transformer模型：Postion Embedding实现
weixin_62472350的博客
07-13 1302
这是对上一篇WordEmbedding的续篇PositionEmbedding。
机器学习中Value Embedding， Position Embedding 和 Temporal Embedding
weixin_56460281的博客
04-19 1095
通过Value Embedding，序列中的每个元素都可以用一个固定长度的向量表示，从而方便后续的计算和模型学习。常用的一种Position Embedding方法是使用正弦和余弦函数来生成位置编码，这样生成的位置向量既能表示位置信息，又能保持一定的连续性和相对距离关系。常用的方法是将时间戳转换为具有一定连续性的向量表示，以便模型能够理解时间的演变和趋势。通过将数值、位置和时间信息编码为连续向量表示，模型可以更好地理解和处理序列数据中的关联性、顺序性和时间依赖关系，从而提高模型的性能和表现力。
Vision Transformer(二)：位置嵌入向量
tecsai的博客
02-06 1141
Transformer 模型中的位置嵌入（position embedding）是一种机制，用来给模型提供关于序列中各个元素位置的信息。在原始的 Transformer 模型中，这是必要的，因为模型的主要构建块（如自注意力层）本身并不具备处理序列中元素位置关系的能力。
Transformer位置编码（Position Embedding）理解
MOL
03-19 2129
本文主要介绍4种位置编码，分别是NLP发源的transformer、ViT、Sw-Transformer、MAE的Position Embedding。
transformer的Position Embedding(位置编码)
vivi_cin的博客
11-04 176
http://t.csdnimg.cn/iglu5
position embedding
weixin_43390051的博客
04-20 992
【转载】 关于Transformer中的position embedding 一文教你彻底理解Transformer中的positional encoding Transformer中position embedding的劣势： Transformer中的position embedding
Transformer中的位置编码PE(position encoding)
hallo128的博客
06-01 614
【代码详解】Transformer中的位置编码PE(position encoding)，扩散模型中如何融合时间信息t到图x上（x+t）
transformer中的position embedding
Warmth_Dream的博客
11-06 2396
transformer中的position embedding的生成 以上公式就是我们获得position embedding的方法。 pos：表示单词在句子中的位置（1,2,3，...seg_len） i：表示词向量中的位置（0,1,2,3，......,511） dmodel:表示的是词向量的维度（512） 根据该公式画图得到： 画图确实有点简陋。从图中我们看到，蓝色线就是pos=1的时候，该蓝线与512个函数有512个交点，那么这512个交点的函数值就构成了pos=1的pos.
Transformer中的相对位置编码(Relative Position Embedding)
chenf1995的博客
02-18 9976
本篇preview：回顾transformer中绝对位置编码（absolute position embedding）相对位置编码方法详解和公式推导相对位置编码代码实现 回顾transformer中绝对位置编码（absolute position embedding） 在transformer的实现中，所有的input tokens是无序的，是没法像RNN的方法一样学到token之间的位置顺序关系，但是自然语言一定是有语序在里面的，所以原始的transformer的代码实现里就提供了一种非常简单的位置编码，
Transformer：Position Embedding解读
weixin_45424997的博客
09-10 7316
在RNN里，句子被分成一个个单词依次送入网络，这样自带句子的输入自带文本顺序。但是Transformer结构将所有位置的单词一起输入网络，这样就会丧失文本的顺序。所以需要Position Embedding 来解决这个问题。 首先会想到的是给不同位置的单词赋予一个[0,1]之间的值。0代表开头的单词，1 代表结尾的单词。但是由于我们无法提前预知下一段话有多少单词，所以相邻单词位置编码数值的差值会随着句子长度的变化而变化。 另外一种想法是线性地为每个位置的单词安排编码值。即第一个单词为1，第二个
transformer 解码_Transformer的位置编码
weixin_29355333的博客
01-17 1821
公众号关注“Python遇见机器学习”设为“星标”，第一时间知晓最新干货~转自https://blog.csdn.net/smilesooo/article/details/106224377位置编码1位置编码1. 引入文本序列是一种时序型数据，单词之间地顺序关系往往会影响整个句子的含义。RNN网络在做文本生成时，顺序考虑每个时间步的文本信息，文本的输出会根据单词的输入顺序改变而改变，换句话说R...
白话transformer（五）：位置编码
Andy_shenzl的博客
03-21 1305
在前面其实讲过，这次我们具体看看他的数学原理白话transformer（五）
LLM - 理解 Transformer 的位置编码 sin & cos 的作用与原理
Mystra
07-25 247
Transformer 模型中的位置编码是关键技术，通过为每个词嵌入向量添加位置信息来保留序列的顺序性，增强模型对长距离依赖关系的捕捉能力，使得模型能够理解单词在句子中的位置，从而更好地处理语言的语法和语义结构，提高模型的表达能力和泛化能力，同时减少训练时间并增强模型的自适应性。位置编码通常通过正弦和余弦函数的组合实现，为每个位置生成唯一的编码，使得模型能够在并行处理序列数据的同时保留顺序信息。
Transformer模型中的Position Embedding实现
最新发布
dhdjjfhdghh的博客
08-21 628
Transformer模型中的Position Embedding实现
Position Embedding 的解释及具体应用
热门推荐
qq_43613342的博客
11-13 2万+
Position Embedding 的解释及具体应用 这是我的第一篇博客，想把博客作为分享巩固自己学习感悟的地方。 最近做了一个要用到Position Embedding 的项目，于是就研究了一下。 词向量 词向量，顾名思义就是把每一个单词变成一个向量，以便于后续对文本进行处理，词向量在pytorch中是用nn.Embedding(n_letters + 1, dim)来实现的，这个函数相当定义了一个词向量矩阵，n_letters 是你文本中所有单词的个数，dim是你设置的词向量维数。为什么是max_s
transformer如何embedding
01-02
Transformer的embedding部分可以通过以下步骤实现： 1. 首先，将输入序列进行编码。这可以通过将输入序列中的每个元素映射到一个低维的向量表示来完成。常用的方法是使用一个可学习的嵌入层（embedding layer）来实现这一点。 2. 接下来，为输入序列中的每个位置添加位置编码。位置编码是一个向量，用于表示输入序列中每个位置的相对位置信息。常用的方法是使用正弦和余弦函数来生成位置编码。 3. 然后，将编码后的输入序列输入到Transformer的多层自注意力机制（multi-head self-attention）中。自注意力机制可以捕捉输入序列中不同位置之间的依赖关系。 4. 在自注意力机制的输出上应用前馈神经网络（feed-forward neural network）进行特征提取和维度变换。 5. 最后，将经过特征提取的输出序列进行池化操作，得到一个固定长度的向量表示。这个向量表示可以用作分类任务的输入。 下面是一个示例代码，演示了如何在Transformer中进行embedding： ```python import torch import torch.nn as nn class TransformerEmbedding(nn.Module): def __init__(self, input_dim, hidden_dim, num_layers, num_heads): super(TransformerEmbedding, self).__init__() self.embedding = nn.Embedding(input_dim, hidden_dim) self.position_encoding = PositionalEncoding(hidden_dim) self.transformer = Transformer(hidden_dim, num_layers, num_heads) self.pooling = nn.AdaptiveAvgPool1d(1) def forward(self, x): embedded = self.embedding(x) encoded = self.position_encoding(embedded) transformed = self.transformer(encoded) pooled = self.pooling(transformed.permute(0, 2, 1)) return pooled.squeeze(2) class PositionalEncoding(nn.Module): def __init__(self, hidden_dim, max_len=5000): super(PositionalEncoding, self).__init__() self.dropout = nn.Dropout(p=0.1) pe = torch.zeros(max_len, hidden_dim) position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1) div_term = torch.exp(torch.arange(0, hidden_dim, 2).float() * (-math.log(10000.0) / hidden_dim)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) pe = pe.unsqueeze(0).transpose(0,1) self.register_buffer('pe', pe) def forward(self, x): x = x + self.pe[:x.size(0), :] return self.dropout(x) class Transformer(nn.Module): def __init__(self, hidden_dim, num_layers, num_heads): super(Transformer, self).__init__() self.layers = nn.ModuleList([TransformerLayer(hidden_dim, num_heads) for _ in range(num_layers)]) def forward(self, x): for layer in self.layers: x = layer(x) return x class TransformerLayer(nn.Module): def __init__(self, hidden_dim, num_heads): super(TransformerLayer, self).__init__() self.self_attention = nn.MultiheadAttention(hidden_dim, num_heads) self.feed_forward = nn.Sequential( nn.Linear(hidden_dim, hidden_dim * 4), nn.ReLU(), nn.Linear(hidden_dim * 4, hidden_dim) ) self.layer_norm1 = nn.LayerNorm(hidden_dim) self.layer_norm2 = nn.LayerNorm(hidden_dim) def forward(self, x): attended, _ = self.self_attention(x, x, x) x = x + attended x = self.layer_norm1(x) fed_forward = self.feed_forward(x) x = x + fed_forward x = self.layer_norm2(x) return x ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

清梦枕星河~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值