ALiBi（Attention with Linear Biases）提出了一种新的位置表示方法，通过在注意力得分中添加静态非学习性偏置，改善了模型的长度外推能力。相较于正弦和旋转位置编码，ALiBi在不牺牲效率的情况下，实现了更优秀的序列长度扩展性能，尤其在处理超过训练时长度的序列时，能保持较低的困惑度。
论文：https://arxiv.org/pdf/2108.12409.pdf
代码：https://github.com/ofirpress/attention_with_linear_biases
发表：2021
长度外推
参考：https://spaces.ac.cn/archives/9431#ALIBI
长度外推性是一个训练和预测的长度不一致的问题。具体来说，不一致的地方有两点：
1、预测的时候用到了没训练过的位置编码（不管绝对还是相对）；
2、预测的时候注意力机制所处理的token数量远超训练时的数量。
第1点：可能大家都容易理解，没训
219
3423
4111
258
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
超级会员免费看
订阅专栏 解锁全文
扫一扫
