论文链接:https://arxiv.org/pdf/2405.13956
一、摘要总结:
本文提出了一种新的注意力机制,名为Aaren,它将注意力视为一种特殊的递归神经网络(RNN),能够高效地计算其多对一RNN输出。Aaren不仅能够并行训练,而且能够在推理时高效地更新新令牌,仅需要常数内存。实验表明,Aaren在四个流行的序列问题设置(强化学习、事件预测、时间序列分类和时间序列预测)的38个数据集上与Transformer性能相当,同时在时间和内存效率上更胜一筹。
二、核心创新:
- 将注意力机制重新解释为一种特殊的RNN,可以高效地计算多对一的RNN输出。
- 引入基于并行前缀扫描算法的新方法来高效计算注意力的多对多RNN输出。
- Aaren模块能够在并行训练的同时,像传统RNN一样在推理时高效更新新令牌,且只需要常数内存。
三、实验结果:
- 总体指标:Aaren在38个数据集上与Transformer相比,在强化学习、事件预测、时间序列分类和时间序列预测任务中表现出了可比的性能。
- Ablation Study:文章中没有明确提到Ablation Study,但实验结果表明,Aaren在保持性能的同时,显著降低了内存使用量和计算时间,这表明了其核心创新的有效性。