大型语言模型的“长文本”难题：HOMER 算法如何突破上下文限制？

大型语言模型（LLM）在自然语言处理领域展现出惊人的能力，但它们也面临着一个关键的限制：上下文长度限制。这意味着 LLM 能够处理的输入文本长度有限，这对于许多现实应用来说是一个巨大的挑战。例如，聊天机器人需要理解大量的聊天历史，代码理解模型需要处理庞大的代码库，这些都需要 LLM 能够处理更长的上下文。

上下文限制的挑战：自注意力机制的瓶颈

LLM 的上下文限制主要源于自注意力机制的计算复杂度。自注意力机制需要计算所有输入词之间的关系，这使得计算量随着输入长度的平方增长。为了解决这个问题，研究人员提出了各种方法，例如稀疏注意力和线性化注意力，但这些方法往往难以扩展到大型模型，而且需要重新训练模型，这对于现有的 LLM 来说并不现实。

现有解决方案的局限性：聚焦于位置编码

为了解决 LLM 的上下文限制问题，最近的研究主要集中在修改位置编码上。这些方法通过调整位置编码的方式来扩展模型能够处理的上下文长度。然而，这些方法并没有解决自注意力机制的计算复杂度问题，因此在处理长文本时仍然面临效率问题。

HOMER 算法：分治策略与层次化合并

为了克服这些限制，本文介绍了一种名为 HOMER（Hierarchical cOntext MERging，层次化上下文合并）的全新技术。HOMER 采用了一种分治策略，将长文本分成多个可管理的片段，并对每个片段进行独立处理。与以往方法不同的是，HOMER 并不会独立处理每个片段，而是采用了一种层次化的合并策略，在 Transformer 层次结构中逐步合并相邻的片段。

具体来说，HOMER 的工作原理如下：

1. 将长文本分成多个片段： 将输入文本分成多个长度一致的片段。为了确保每个片段都包含必要的上下文信息，在每个片段的开头和结尾都添加了共享的前缀和后缀，例如指令信息和结尾标记。
2. 对每个片段进行 token 缩减： 为了避免合并后片段长度过长，HOMER 使用了一种 token 缩减技术。该技术通过分析每个片段中 token 的重要性，选择性地保留重要的 token，并删除不重要的 token。
3. 层次化合并片段： 在 Transformer 层次结构中，相邻的片段被逐步合并。在合并之前，每个片段都会进行 token 缩减，以确保合并后的片段长度不会过长。
4. 传播式精炼： 在合并过程中，HOMER 使用了一种传播式精炼技术，将高层 Transformer 的 token 缩减决策传递到低层 Transformer，从而确保所有层的 embedding 都保持一致的长度。

HOMER 算法的优势

HOMER 算法具有以下优势：

• 高效性： HOMER 通过分治策略和层次化合并，有效地降低了自注意力机