Longformer：长文档Transformer

Longformer: 处理长文档的Transformer变体

Longformer是Transformer的一种变体，专门用于处理长文档。它解决了传统Transformer在处理长文档时存在的局限性。

传统Transformer的局限性：

• 由于内存限制，传统Transformer只能处理有限数量的token。
• 处理长文档时，需要将文档分割成多个片段，导致模型无法在神经网络层面上建立片段之间的关联，从而影响对整体语义的理解。

Longformer的优势：

• Longformer可以将整个文档直接输入模型，无需进行分割。
• 通过改进的注意力机制，Longformer能够在整个文档范围内建立连接，从而更好地理解长文本的语义。

Longformer的实现机制：

• Longformer使用了一种名为“局部注意力”的机制，它允许模型在更广的范围内进行注意力计算，同时保持计算效率。
• 具体来说，Longformer在每个token周围定义了一个局部窗口，并在窗口内进行注意力计算。

Longformer的应用：

• Longformer可以用于各种需要处理长文档的自然语言处理任务，例如：
• 文档摘要
• 问答系统
• 机器翻译

总结：

Longformer是Transformer的一种重要变体，它克服了传统Transformer在处理长文档时的局限性。通过改进的注意力机制，Longformer能够更好地理解长文本的语义，并在各种自然语言处理任务中取得更好的效果。

Longformer 通过引入滑动窗口注意力和稀疏全局注意力扩展了 Transformer。这使得它能够处理比 BERT 等经典模型长得多的文档。论文：https://arxiv.org/abs/2004.05150代码：https://github.com/allenai/longformer摘要：基于 Transformer 的模型无法处理长序列，因为它们的自我注意力操作与序列长度成二次方增长。为了解决这个限制，我们引入了 Longformer，它具有一个与序列长度线性增长的注意力机制，使其能够轻松处理数千个 token 或更长的文档。Longformer 的注意力机制可以替代标准的自我注意力，并结合了局部窗口注意力和任务驱动的全局注意力。遵循先前关于长序列 Transformer 的工作，我们在字符级语言建模方面评估了 Longformer，并在 text8 和 enwik8 上取得了最先进的结果。与大多数先前的工作相比，我们还预训练了 Longformer 并将其微调到各种下游任务。我们的预训练 Longformer 在长文档任务上始终优于 RoBERTa，并在 WikiHop 和 TriviaQA 上取得了新的最先进结果。