transformer学习之位置编码

已于 2022-12-30 10:05:38 修改
阅读量1.5k 收藏 14
点赞数 3
分类专栏： NLP 文章标签： 深度学习 神经网络 transformer python
于 2021-12-30 22:49:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833392/article/details/122224764
版权
NLP 专栏收录该内容
89 篇文章 50 订阅 ¥29.90 ¥99.00
订阅专栏

参考原文➡️Transformer Architecture: The Positional Encoding

文章目录

题目

位置编码（POSITIONAL ENCODING）

简介

顺序的重要性

一个缺少顺序的句子是没有灵魂的，就好比一个人说话前言不搭后语，让人完全摸不着头脑。语言就是在规范着人们说话的方式，它是一种人与人最直接最快速交流的方式，所以要想使得别人能够听懂你说的话，一定要按照顺序来讲。

为什么transformer要引入

在transformer中它是通过Q、K、V三个矩阵之间进行计算，对于每一个单词都是一次性取计算的结果，并没有像RNN那样有时序关系，这在某种程度上似乎就制约了transformer的发展，试问哪一个句子没有前后顺序之分？所以，引入位置编码（positional encoding）势在必行！

它是什么

读到这里，我们大致了解了位置编码的作用就是弥补原本用Attention实现下没有时序信息的不足，所以每个单词在编码的时候根据单词在句子中的位置信息进行二次加工。

怎么实现

要回答这个问题，我们就必

了解本专栏 订阅专栏 解锁全文
365JHWZGo
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
transformer 解码_Transformer的位置编码
weixin_29355333的博客
01-17 1801
公众号关注“Python遇见机器学习”设为“星标”，第一时间知晓最新干货~转自https://blog.csdn.net/smilesooo/article/details/106224377位置编码1位置编码1. 引入文本序列是一种时序型数据，单词之间地顺序关系往往会影响整个句子的含义。RNN网络在做文本生成时，顺序考虑每个时间步的文本信息，文本的输出会根据单词的输入顺序改变而改变，换句话说R...
transformer代码学习
fangting的博客
02-16 2029
pad_attn_mask = seq_k.data.eq(0).unsqueeze(1) eq函数是留下seq_k等于0的坐标，seq_k是enc_inputs feedforward层使用一维卷积，常用于自然语言处理 本来是 实现的是 class PoswiswFeedForwardNet(nn.Module): def init(self): super(PoswiswFeedF...
Transformer 位置编码
小嗷犬的博客
01-16 3969
词的位置和顺序是任何语言的重要组成部分。它们决定着语法，因此也决定了句子的实际语义。卷积神经网络（CNN）使用卷积核来捕获单词之间的相对位置信息，但其仅能捕获固定大小的局部上下文信息。循环神经网络（RNN）在处理序列信息上会有更好的效果，其依靠循环结构，将序列信息逐步传递，这其中就引入了单词的位置和顺序信息。但随着序列长度的增加，RNN 会慢慢忘记早前的信息，这就导致了长期依赖问题。除此之外，循环结构也使得 RNN 无法并行计算，这使得 RNN 的训练速度十分缓慢。放弃了循环结构，而采用了自注意力机制。
什么？是Transformer位置编码
Kaiyuan_sjtu的博客
08-11 9190
作者：陈安东，中央民族大学，Datawhale成员过去的几年里，Transformer大放异彩，在各个领域疯狂上分。它究竟是做什么，面试常考的Transformer位置编码暗藏什么玄机？本...
Transformer中的位置编码PE(position encoding)
最新发布
hallo128的博客
06-01 550
【代码详解】Transformer中的位置编码PE(position encoding)，扩散模型中如何融合时间信息t到图x上（x+t）
深入理解transformer中的位置编码
热门推荐
qq_43391414的博客
10-31 1万+
啊打发
Transformer的位置编码
comli_cn的博客
05-06 3486
简单来说位置编码就是给一个句子中的每个token一个位置信息，通过位置编码可以明确token的前后顺序关系。对任何语言来说，句子中词汇的顺序和位置都是非常重要的。它们定义了语法，从而定义了句子的实际语义。RNN结构本身就涵盖了单词的顺序，RNN按顺序逐字分析句子，这就直接在处理的时候整合了文本的顺序信息。但Transformer架构抛弃了循环机制，仅采用多头自注意机制。避免了RNN较大的时间成本。并且从理论上讲，它可以捕捉句子中较长的依赖关系。
一文搞懂Transformer的位置编码
xian0710830114的专栏
10-08 8463
本文介绍Transformer的位置编码，有图有表有推导，看不懂你打我！！！在Transformer出现以前，NLP任务大多是以RNN、LSTM为代表的循环处理方式，即一个token一个token的输入到模型当中。这种设计存在天生的缺陷。为了解决这些缺陷，Transformer把token的顺序信号加到词向量上帮助模型学习这些信息，这就位置编码（Positional Encoding）。接下来的内容不会涉及Self-Attention等牛逼的创新设计，只讨论位置编码，希望对大家有所帮助。
基于transformer的复现编码和学习资料.zip
04-15
这些材料可能涵盖了自注意力机制、多头注意力、位置编码、softmax层、归一化等关键概念。 `.ipynb_checkpoints`目录通常包含Jupyter Notebook的自动备份，以防在编辑过程中出现意外，可以恢复到之前的状态。 复现...
深度学习-Transformer实战系列课程
09-23
Transformer模型是深度学习领域中的一个重大突破，由Google在2017年提出的《Attention is All You Need》论文中首次介绍。Transformer模型以其创新性的注意力机制（Attention Mechanism）取代了传统的序列依赖模型，...
机器学习笔记-Transformer
08-03
Transformer语言模型是一种基于注意力机制的深度学习模型，它是在2017年由Google提出的，被广泛应用于自然语言处理领域。 Transformer模型主要由编码器和解码器组成，其中编码器将输入的文本序列转换为一组向量，...
深度学习+NLP+transformer
09-25
深度学习与自然语言处理（NLP）的结合已经成为现代AI技术的核心组成部分，Transformer模型在此领域发挥了巨大作用。Transformer由Google在2017年提出，它摒弃了传统的循环神经网络（RNN）架构，转而采用自注意力...
Transformer的位置编码解释.docx
09-16
在 Transformer 模型中，位置编码通常实现为一个可学习的向量，用于表示每个位置的信息。这个向量可以通过一个可学习的矩阵来实现，每个维度上都可以使用不同的函数来操作位置编码。 5. 位置编码的优点 使用位置...
Transformer位置编码（Position Embedding）理解
简单记录生活、学习
03-19 1777
本文主要介绍4种位置编码，分别是NLP发源的transformer、ViT、Sw-Transformer、MAE的Position Embedding。
Transformer 结构详解：位置编码 | Transformer Architecture: The Positional Encoding
我是菜鸡
04-22 1万+
😎使用正弦函数为模型添加位置信息什么是位置编码？为什么我们需要位置编码。提出的方法The intuition其他细节相对位置FAQ为什么位置编码是和词嵌入相加而不是将二者拼接起来？位置信息层层传递之后不会消失吗？为什么同时使用正弦和余弦？总结原文信息References 使用正弦函数为模型添加位置信息 Transformer是只基于自注意力机制的序列到序列架构。因为并行计算能力以及高性能。使得它在NLP领域中大受欢迎。
Transformer架构：位置编码
kuxingseng123的博客
12-26 1065
先大致了解以下位置编码，然后慢慢的将位置编码给其研究彻底，研究透彻。
相对位置编码Transformer的一个理论缺陷与对策
Paper weekly
06-29 1277
©PaperWeekly 原创 · 作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络位置编码是 Transformer 中很重要的一环，在《让研究人员绞尽脑汁的 Transformer 位置编码》中我们就总结了一些常见的位置编码设计。大体上，我们将 Transformer 的位置编码分为“绝对位置编码”和“相对位置编码”两类，其中“相对位置编码”在众多 N...
Transformer模型中应用的各类位置编码
qq_41627642的博客
04-19 6427
六种位置编码的代码实现及性能实验 1、位置编码的意义 对于序列数据，目前存在三种主流的建模方式：卷积操作、循环操作和自注意力。其中，卷积和循环操作都具有局部性，即只作用目标元素的若干邻居上，而自注意力则是一种全局操作。具有局部性的操作，可以天然地注意到了元素间的相对位置；而注意力机制则是位置不敏感的·，即使调换序列中两个元素的位置对编码后的结果也不会产生影响。 因此，有必要将元素对应的位置信息添加到表示中，或者在计算注意力得分时考虑两个元素之间的相对位置。这些方法统称为位置编码，可以分为绝对位置.
transformer位置编码最详细的解析
lansebingxuan的专栏
09-05 893
这种方法的问题是，不仅值可能变得非常大，而且我们的模型可能面临比训练中的句子更长的句子。此外，我们的模型可能不会看到具有特定长度的任何样本，这会影响我们模型的泛化能力。由于Transformer中的嵌入是从头开始训练的，参数可能设置为词的语义不会存储在前几个维度中，以避免干扰位置编码。由于句子中的每个词语同时通过Transformer的编码器/解码器堆栈，模型本身对于每个词语的位置/顺序没有任何概念。为了使模型具有一定的顺序感，一种可能的解决方案是为每个词语添加关于其在句子中位置的信息。
transformer模型嵌入位置编码
07-28
Transformer模型中使用位置编码来表示输入序列中不同位置的单词或标记的相对位置关系。...通过这种方式，Transformer模型可以学习到不同位置之间的相对距离信息，从而更好地捕捉序列中不同位置的语义关系。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

365JHWZGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值