Reformer:高效的Transformer

导读：Transformer模型已经在许多任务上取得了令人欣喜的成绩，但是当扩展到更长的上下文窗口时会遇到许多限制。更大的上下文窗口意味着模型能力变得更加强大，但也会让其变得不够高效，消耗更多的内存。来自Google AI团队最新的Reformer模型结合了两个至关重要的技术来解决限制Transformer应用到长上下文窗口的注意力和内存分配的问题。

作者：Nikita Kitaev, Lukasz Kaiser
编译：DestinedAI

理解序列数据——如语言，音乐或视频——是一项非常具有挑战性的任务，尤其当有大量依赖前后上下文的情况下。比如，如果视频中的一个人或一个物体从视野中消失了，很久以后又重新出现了，许多模型会忘记它是什么样子。在语言领域，长短程记忆（LSTM）神经网络能够覆盖到足够多的上下文信息来逐句进行翻译[1]。在这种情况下，上下文窗口（如翻译时需要考虑的数据范围）从十几个到上百个词不等。最新的Transformer模型[2]不仅仅提升了逐句翻译的性能，而且能够被用来通过多文档摘要生成整个Wikipedia文章[3]。这是可能的，因为Transformer使用的上下文窗口可能扩展到上千个词。有了这么大的上下文窗口，Transformer能够被用于文本之外的应用，包括像素或音符，使得它能够生成音乐