![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
位置编码
文章平均质量分 57
铁灵
这个作者很懒,什么都没留下…
展开
-
一种相对位置编码
相对位置编码是一种在自然语言处理(NLP)模型(尤其是Transformer模型)中使用的位置编码方法。与传统的位置编码不同,传统的位置编码在输入序列的每个位置添加固定的位置信息,而相对位置编码则关注输入序列中元素之间的相对距离。这种方法可以使模型更好地捕捉到序列中各元素之间的相对关系,而不是绝对位置。原创 2024-06-05 14:15:35 · 348 阅读 · 0 评论 -
加入不正确的位置编码会破坏掉原本的信息吗?
在Transformer中,位置编码的主要作用是让模型感知输入序列中各个词的位置。因为Transformer完全依赖自注意力机制,它本身并没有序列信息,位置编码的引入就是为了补充这一点。(保持疑问,并没有明白这样做的原因)原创 2024-06-02 20:53:47 · 549 阅读 · 0 评论