乌云压顶是吧

原创 Transformer结构中获得相对位置信息的探究

传送一下知乎“原来你还关注了这个专栏”“这个博主还能敲键盘呀”没错，时隔半年，终于终于要更新了 ????（主要是我太咸鱼了这次主要讨论一下如何增强 Transformer 结构对获取相对位置信息的能力(即 Relative Position Embedding in Transformer Architecture)。Background事实上，Transformer 是一种建立在 ...