Bengio新作Aaren：探索Transformer性能与RNN效率的融合

论文链接：https://arxiv.org/pdf/2405.13956

一、摘要总结：

        本文提出了一种新的注意力机制，名为Aaren，它将注意力视为一种特殊的递归神经网络（RNN），能够高效地计算其多对一RNN输出。Aaren不仅能够并行训练，而且能够在推理时高效地更新新令牌，仅需要常数内存。实验表明，Aaren在四个流行的序列问题设置（强化学习、事件预测、时间序列分类和时间序列预测）的38个数据集上与Transformer性能相当，同时在时间和内存效率上更胜一筹。

二、核心创新：

• 将注意力机制重新解释为一种特殊的RNN，可以高效地计算多对一的RNN输出。
• 引入基于并行前缀扫描算法的新方法来高效计算注意力的多对多RNN输出。
• Aaren模块能够在并行训练的同时，像传统RNN一样在推理时高效更新新令牌，且只需要常数内存。

三、实验结果：

• 总体指标：Aaren在38个数据集上与Transformer相比，在强化学习、事件预测、时间序列分类和时间序列预测任务中表现出了可比的性能。
• Ablation Study：文章中没有明确提到Ablation Study，但实验结果表明，Aaren在保持性能的同时，显著降低了内存使用量和计算时间，这表明了其核心创新的有效性。