文本太长，Transformer用不了怎么办

长文档预训练模型

---

基于Transformer的模型已经引领NLP领域，然而基于Transformer的方法随着输入文本长度的增加，计算量剧增，并且Transformer能处理的句子长度受限，已有的方法大多使用截断的方式，这会导致信息损失，因此如何实现长文本的预训练是目前的一大难题。

 

长文档的预训练模型

---

Longformer: The Long-Document Transformer，2020

论文主要采用局部注意力和全局注意力结合的机制避免以往直接对长文本进行切分导致的信息损失，Longformer通过滑动窗口式注意力、空洞滑动窗口、全局注意力将attention机制的复杂度降低至O(n).其中全局注意力是在预先选择的位置上添加，是面向特定任务的全局attention。此外作者用TVM构建CUDA kernel速度快、显存占用小。