Longformer: The Long-Document Transformer

前言：
《Longformer: The Long-Document Transformer》于2020年4月发表，相较于Transformer，Longformer利用local attention和global attention在长文本任务的处理上大大减低了时间负责度和空间负责度。

论文：https://arxiv.org/pdf/2004.05150.pdf
源码：https://github.com/allenai/longformer

摘要

基于Transformer的模型不能处理长文本，因为其自注意力操作（消耗的时间和空间）会随着序列长度成平方增长。为解决这个限制，我们提出了Longformer，它使用随着序列长度线性变化的attention机制，这样便于处理上千个token甚至更多。Longformer的attention机制用窗口调节的local attention和任务驱动的global attention联合来替换标准的self-attention。我们在字符级别语言模型上评估Longformer，在text8和enwik8上取得了最好的效果。与大部分先前的研究工作做对比，我们也预训练Longformer并在各种各样的下游任务微调它。在长文档任务上我们预训练的Longformer优于RoBERTa，并且在WikiHop和TriviaQA.1上刷新最佳效果。

简介

Transformer的成功一定程度上源于自注意力机制，它使得网络可以通过整个句子学习到上下文信息。然而，这也使得内存和计算量随着max sequence的增长而呈平方增长趋势。

Longformer则可解决这一问题，那么它是如何做到的呢？Longformer是修正版的Transformer，它的attention机制，