神经压缩文本训练：提升大型语言模型效率的新方法

人工智能咨询培训老师叶梓 转载标明出处

随着大型语言模型（LLMs）在各个领域的广泛应用，其训练和部署的效率问题日益凸显。传统的子词标记化方法，如Byte Pair Encoding (BPE) 或 Unigram，虽然能够在一定程度上压缩文本，但其压缩率通常只有4倍左右。LLMs在处理文本时，需要消耗大量的计算资源来处理这些标记。而且这些方法在处理长文本时，由于自注意力层的计算复杂度与序列长度的平方成正比，限制了模型能够处理的序列长度，进而影响了模型捕捉长距离依赖的能力。

本文提出的方法通过引入“等信息窗口”（Equal-Info Windows）压缩技术，显著提升了大型语言模型（LLMs）在神经压缩文本上的学习效率和效果。该技术通过将文本分割成等比特长度的块，不仅解决了传统压缩方法导致的学习障碍，还使得模型能够在更少的计算资源下处理更多的文本数据，从而提高了训练效率。由于压缩后的文本序列更短，模型在推理时需要的自回归生成步骤减少，这不仅降低了延迟，还使得模型能够更好地处理长文本，捕捉更远的依赖关系。这种方法的优势在于，它不仅提供了更高的压缩率，还保持了文本的可学习性，为LLMs的训练和部署带来了实质性的改进。

方法 

在神经压缩文本上训练大型语言模型（LLM）的方法

Figure 1 显示了对训练大型语言模型（LLM，记为 M2）在神经压缩文本上的方法的高层次概述。这个过程分为几个关键步骤：

训练 M1 作为字节级语言模型：首先，模型 M1 被训练为一个标准的字节级语言模型。给定左侧的上下文，M1 能够为每个可能跟随的字节分配一个概率值。这个步骤是基础，因为它为后续的文本压缩提供了必要的概率信息。

使用 M1 压缩语料库文本：接着利用训练好的 M1 模型来压缩整个语料库文本。M1 为文本中的每个位置分配的概率被用作压缩算法的输入，这里使用的是算术编码（Arithmetic Coding，简称 AC）。算术编码是一种支持使用动态符号概率的压缩算法，它根据 M1 分配给文本的实时概率来压缩文本。

将压缩后的位流分块成标记：压缩后的文本被转换成位流，这个位流随后被分块成固定大小的标记，例如 8 位的块。这样，原本的文本就被转换成了一系列的标记，这些标记代表了原始文本的压缩形式。

训练 M2 在压缩文本上的模型：最后使用这些由压缩位流转换来的标记来训练 M2。M2 被训练为一个语言模型，它直接在这些压缩文本的标记上进行操作，而不是在原始的字节级文本上。就是说M2 学习的是如何处理和生成压缩文本，而不是原始文本。

这个过程的关键创新之处在于，它通过压缩来减少模型在训练和推理时需要处理的标记数量，从而提高效率。同时，它也提出了一种新的方法，让模型学习如何从压缩的表示中恢复出语言的结构和语义信息。

这种方法的优势在于，如果能够成功训练 M2，那么在处理相同数量的原始文本时，模型将需要更少的计算资源，因为压缩后的文本更短。由于压缩文本的每个标记包含了更多的原始文本信息&#x