大语言模型对于“长序列”的处理方法

处理非常长的序列（如超过20万个元素的序列）对于当前的大型语言模型来说仍然是一个挑战，尤其是那些基于Transformer架构的模型，因为这些模型的自注意力机制在计算上是非常昂贵的，计算复杂度和内存需求与序列长度的平方成正比增长。然而，近年来有几种方法被提出来解决这一问题，这些方法主要通过优化注意力机制、使用不同的架构或引入额外的技术来减少计算负担。

解决方法

稀疏Transformer

稀疏Transformer采用稀疏性原理来减少需要计算的注意力对。这种方法通过限制每个元素只与序列中的一小部分元素交互，而不是整个序列，从而显著降低计算复杂度。这些交互可以是固定模式（例如，局部窗口）或学习到的模式。

Linformer

Linformer简化了自注意力机制的复杂度，将其从O(n^2) 降低到 O(n)。这通过对序列长度进行线性投影实现，有效地减少了自注意力中的参数数量和计算需求，从而使得处理长序列变得更加可行。

Performer

Performer，基于正交随机特征映射技术，提出了一种可扩展的Transformer变体，它能够高效地估算标准注意力机制，而不需要显式地计算或存储注意力矩阵。这使得Performer能够处理极其长的序列而不会遇到内存瓶颈。

Reformer

Reformer将哈希技术应用于自注意力机制，将相似的特征聚集在一起，从而减少了不必要的计算。此外，它使用可逆层来减少训练过程中的内存使用。这两种技术使Reformer能够有效处理长序列数据。

Longformer

Longformer设计了一种称为“稀疏全局注意力”的新型注意力机制，其中每个令牌只关注其邻近的几个令牌以及稀疏分布的全局令牌，这样可以显著降低处理长文档的复杂度。

Big Bird

Big Bird是一种类似于Longformer的变体，它利用了稀疏性技术，包括局部窗口注意力和全局注意力，以及随机注意力。这种混合的注意力机制使得Big Bird能够有效处理长达数千或数万个令牌的序列。

Transformer-XL

Transformer-XL通过引入“循环记忆”机制来处理长序列的依赖关系，允许信息在序列间传递，从而增强了模型对长距离信息的处理能力。