Transformer中的相对位置编码(Relative Position Embedding)
本篇preview:回顾transformer中绝对位置编码(absolute position embedding)相对位置编码方法详解和公式推导相对位置编码代码实现回顾transformer中绝对位置编码(absolute position embedding)在transformer的实现中,所有的input tokens是无序的,是没法像RNN的方法一样学到token之间的位置顺序关系,但是自然语言一定是有语序在里面的,所以原始的transformer的代码实现里就提供了一种非常简单的位置编码,
原创
2022-02-18 21:30:56 ·
9938 阅读 ·
0 评论