大语言模型对于“长序列”的处理方法

处理非常长的序列（如超过20万个元素的序列）对于当前的大型语言模型来说仍然是一个挑战，尤其是那些基于Transformer架构的模型，因为这些模型的自注意力机制在计算上是非常昂贵的，计算复杂度和内存需求与序列长度的平方成正比增长。然而，近年来有几种方法被提出来解决这一问题，这些方法主要通过优化注意力机制、使用不同的架构或引入额外的技术来减少计算负担。

解决方法

稀疏Transformer

稀疏Transformer采用稀疏性原理来减少需要计算的注意力对。这种方法通过限制每个元素只与序列中的一小部分元素交互，而不是整个序列，从而显著降低计算复杂度。这些交互可以是固定模式（例如，局部窗口）或学习到的模式。

Linformer

Linformer简化了自注意力机制的复杂度，将其从O(n^2) 降低到 O(n)。这通过对序列长度进行线性投影实现，有效地减少了自注意力中的参数数量和计算需求，从而使得处理长序列变得更加可行。

Performer

Performer，基于正交随机特征映射技术，提出了一种可扩展的Transformer变体，它能够高效地估算标准注意力机制，而不需要显式地计算或存储注意力矩阵。这使得Performer能够处理极其长的序列而不会遇到内存瓶颈。

Reformer

Reformer将哈希技术应用于自注意力机制，将相似的特征聚集在一起，从而减少了不必要的计算。此外，它使用可逆层来减少训练过程中的内存使用。这两