加性注意力机制、训练推理效率优于其他Transformer变体，这个Fastformer的确够快...

从训练与推理效率来看，清华和微软亚研提出的 Fastformer 无愧于「fast」。

在过去的几年里，Transformer 及其变体在很多领域取得了巨大成功，但由于其复杂度与序列长度的二次方成正比，它的计算效率并不高。虽然之前已经有很多研究致力于 Transformer 的加速，但在遇到长序列时，这些方法要么低效，要么无效。

在这篇论文中，来自清华大学、微软亚洲研究院的研究者提出了一种基于加性注意力的 Transformer 变体——Fastformer，它能以线性复杂度实现有效的上下文建模。

论文链接：https://arxiv.org/pdf/2108.09084.pdf

在这个模型中，研究者首先使用加性注意力机制对全局上下文进行建模，然后根据每个 token 表示与全局上下文表示的交互进一步转换这些 token 表示。通过这种方式，Fastformer 能够以线性复杂度实现高效的上下文建模。

为了检验 Fastformer 的效果，研究者在五个基准数据集上进行了多个任务的实验，包括情感分类、话题预测、新闻推荐和文本摘要。实验结果表明ÿ