几种常用的相对位置编码

最新推荐文章于 2024-06-25 18:53:22 发布
最新推荐文章于 2024-06-25 18:53:22 发布
阅读量2.8k 收藏 9
点赞数 1
分类专栏： bert NLP 文章标签： 机器学习 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YW_Vine/article/details/121105673
版权
本文详细介绍了相对位置编码在机器学习和深度学习中的使用，特别是自然语言处理领域。从经典式到XLNET式、T5式、DeBERTa式，逐一阐述各种方法的原理和差异，并提及FLAT模型在中文NER中的应用，强调了位置编码在模型中的重要性。
摘要由CSDN通过智能技术生成

主要参考苏神blog,传送门，自己整理下加深记忆

绝对位置编码

绝对位置编码一般形式的带绝对位置编码的Attention形式如下：
{ q i = ( x i + p i ) W Q k i = ( x i + k i ) W K v i = ( x i + v i ) W V a i , j = s o f t m a x ( q i k j T ) o i = ∑ j a i , j v j \left\{ \begin{aligned} q_i & = &(x_i+p_i)W_Q \\ k_i & = & (x_i+k_i)W_K\\ v_i & = & (x_i+v_i)W_V\\ a_{i,j} & = & softmax(q_ik_{j}^{T})\\ o_i & = &\sum_ja_{i,j}v_j \end{aligned} \right. ⎩⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎧​qi​ki​vi​ai,j​oi​​=====​(xi​+pi​)WQ​(xi​+ki​)WK​(xi​+vi​)WV​softmax(qi​kjT​)j∑​ai,j​vj​​
其中softmax表示对 j j j那一维归一化，这里的向量都是指行向量。将 q i k j T q_ik_j^T qi​kjT​展开可得：
q i k j T = ( x i + p i ) W Q W K T ( x j + p j ) T = ( x i W Q + p i W Q ) ( W K T x j T + W K T p j T ) q_ik_j^T=(x_i+p_i)W_QW_K^T(x_j+pj)^T=(x_iW_Q+p_iW_Q)(W_K^Tx_j^T+W_K^Tp_j^T) qi​kjT​=(xi​

最低0.47元/天 解锁文章
晔俞
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LLM - 绝对与相对位置编码 与 RoPE 旋转位置编码 源码
Mystra
07-10 675
Transformer 是基于 MHSA (多头自注意力)，然而，MHSA 对于位置是不敏感的，需要添加位置编码 (PE)，PE即类别变量，索引，也是基于索引的 Embedding，包括两种，一种是绝对位置编码 (Transformer默认的位置编码)，一种是相对位置编码，最新的是旋转位置编码 (Rotary Position Embedding)。
Transformer中的位置编码：绝对位置编码、相对位置编码与旋转位置编码
最新发布
python123456_的博客
08-20 1339
位置编码是Transformer模型中至关重要的一部分，不同的编码方式适用于不同的任务和数据类型。本文详细介绍了绝对位置编码、相对位置编码和旋转位置编码的原理、实现及应用，通过具体的案例分析展示了它们在实际任务中的表现。随着NLP领域的不断发展，新的位置编码方法可能会不断涌现，进一步提升Transformer模型在复杂任务中的表现。了解并掌握这些位置编码方法，将有助于研究人员和工程师更好地应用Transformer模型，处理各种序列数据，提升模型的性能和应用效果。
Transformer中的相对位置编码(Relative Position Embedding)
chenf1995的博客
02-18 9882
本篇preview：回顾transformer中绝对位置编码（absolute position embedding）相对位置编码方法详解和公式推导相对位置编码代码实现 回顾transformer中绝对位置编码（absolute position embedding） 在transformer的实现中，所有的input tokens是无序的，是没法像RNN的方法一样学到token之间的位置顺序关系，但是自然语言一定是有语序在里面的，所以原始的transformer的代码实现里就提供了一种非常简单的位置编码，
一文通透位置编码：从标准位置编码、旋转位置编码RoPE到ALiBi、LLaMA 2 Long(含NTK-aware简介)
热门推荐
结构之法 算法之道
10-27 2万+
关于位置编码和RoPE为彻底解决这个位置编码/RoPE的问题，我把另外两篇文章中关于这部分的内容抽取出来，并不断深入、扩展、深入，最终成为本文。
相对位置编码（Relative Positional Encoding）
m0_51200050的博客
06-25 1814
相对位置编码在注意力机制中引入了元素之间的相对位置信息，而不是依赖于绝对位置。这种方法在处理长序列和捕捉序列中的相对关系时表现得更好。通过这个例子，可以看到相对位置编码如何影响注意力得分的计算，从而在注意力机制中更好地捕捉位置关系。涉及相对位置编码（Relative Positional Encoding）的时间序列处理相关论文主要集中在改进Transformer模型及其在自然语言处理和时间序列预测中的应用。
相对位置编码 relative position encoding
qq_43733107的博客
09-27 5408
相对位置编码
相对位置编码和绝对位置编码
ding_programmer的博客
07-28 4265
位置编码的区别：相对位置编码和绝对位置编码是两种不同的位置编码方法。绝对位置编码是一种基于位置嵌入的方法，其中每个位置都被分配了一个唯一的位置向量。这些向量是固定的，与输入序列的内容无关。这种编码方式对于处理较短的序列效果较好，但在处理长序列时可能会存在问题，因为序列的长度超过了模型能够处理的位置编码的范围。相对位置编码是一种基于相对位置的方法，其中每个位置被编码为一个偏移量，表示该位置与其他位置之间的相对距离。相对位置编码可以通过在输入嵌入中添加额外的信息来实现。
几种线性预编码技术的仿真
10-23
在无线通信领域，预编码是一种优化传输效率和提高系统性能的技术。本文将深入探讨四种线性预编码技术：奇异值分解（Singular Value Decomposition, SVD）、零-forcing（Zero-Forcing, ZF）、匹配滤波器（Matched ...
几种常用无损数据压缩算法研究.docx
09-30
"几种常用无损数据压缩算法研究" 无损数据压缩算法在许多领域都有着广泛的应用，如存储、传输和处理大数据等。本文将介绍几种常用的无损数据压缩算法，包括其原理、优缺点及在实践中的应用。 Huffman 编码是一种...
语义分割中常用位置编码
05-24
在语义分割中，常用的位置编码有以下几种： 1. 绝对位置编码（Absolute Positional Encoding）：将每个像素的位置信息转化为一个固定的向量，然后将其与输入特征向量相加，以便模型能够利用位置信息。 2. 相对位置...
常用编码(BCD编码、余3码、格雷反射码、奇偶校验码)
08-09
以下将详细解释标题和描述中提到的几种编码方法。 1. **BCD编码**（Binary-Coded Decimal） BCD编码是二进制编码的一种形式，主要用于表示十进制数字。8421BCD码是最常见的类型，其中每个十进制数字由4位二进制...
三种位置编码Position Embedding
weixin_56336619的博客
06-05 6628
1.为什么要位置编码？ 处理序列问题 对于传统CNN、RNN模型，因其处理机制模型本身已经具备很强的捕捉位置信息的特性，所以position embedding属于锦上添花 使用attention机制取代cnn、rnn的如transformer、bert模型，本身是一个n*n不包含任何位置信息的词袋模型 所以需要和字embedding 相加 [1].基于绝对位置 计数 embedding = 0 , 1, ,2, 3 缺点：序列没有上界 ，与字embedding合并 数值变化过大 干扰模型 解决：使其
相对位置编码(relative position representation)
07-03 726
上图中以第5个位置(索引为4)的单词为中心，那么其左边的单词的编号为：-1，-2，-3，-4，右边的单词的编号为：+1，+2，+3，+4。第二项中，aijK表示的是ij的相对位置编码，从位置编码的Embeding向量table中去lookup得到的，位置编码的embedding向量table的Shape为（seq_length,seq_length,da)，转换下维度得到(seq_length,da,seq_length)，其中位置编码向量的table我们用A来表示，转换后得到AT。
各种位置编码
薰珞婷紫小亭子的博客
11-08 3108
位置编码
相对位置编码和绝对位置编码原理及源码
sunghosts的专栏
09-03 887
Bert问世后瞬间引爆了NLP领域，同时也让Transformer火了起来，Transformer中特征提取的方式不是传统的CNN，RNN等，而是用attention的形式，这种模式被用在AI的各个领域中，包括CV和语音等。
相对位置编码(二) Relative Positional Encodings - Transformer-XL
07-03 1425
Transformer-XL针对其需要对segment中相对位置的token加入位置信息的特点，将vanilla transformer中的绝对位置编码方式，改进为相对位置编码。改进中涉及到位置编码矩阵的替换、query全局向量替换、以及为key的相对位置编码和embedding分别采用了不同的线性映射矩阵W。transformer-xl与shaw et al.2018的相对编码方式亦有区别。1. shaw et al.2018的相对编码矩阵是一个需要学习参数的tensor,受限于相对距离的窗口长度设置。
相对位置编码两篇简要笔记
江南蜡笔小新
04-25 511
Shaw P, Uszkoreit J, Vaswani A. Self-attention with relative position representations[J]. arXiv preprint arXiv:1803.02155, 2018. 结合相对位置和绝对位置表征，翻译质量没有进一步提高。 英德互译实验结果 In our experiments we did not observe any benefit from including sinusoidal position ..
Transformer模型中应用的各类位置编码
qq_41627642的博客
04-19 6633
六种位置编码的代码实现及性能实验 1、位置编码的意义 对于序列数据，目前存在三种主流的建模方式：卷积操作、循环操作和自注意力。其中，卷积和循环操作都具有局部性，即只作用目标元素的若干邻居上，而自注意力则是一种全局操作。具有局部性的操作，可以天然地注意到了元素间的相对位置；而注意力机制则是位置不敏感的·，即使调换序列中两个元素的位置对编码后的结果也不会产生影响。 因此，有必要将元素对应的位置信息添加到表示中，或者在计算注意力得分时考虑两个元素之间的相对位置。这些方法统称为位置编码，可以分为绝对位置.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值