LSTM 升级了？ xLSTM 来挑战现状了

LSTM 升级了？ xLSTM 来挑战现状了

多年来，一种名为长短期记忆（LSTM）的神经网络一直是处理文本等序列数据的主要模型。LSTM 早在 20 世纪 90 年代就已问世，它善于记忆长程模式，避免了早期递归网络所面临的 “梯度消失” 技术问题。这使得 LSTM 在语言建模、文本生成、语音识别等所有语言任务中都具有难以置信的价值。在相当长的一段时间里，LSTM 看起来势不可挡。

但在 2017 年，一种新的神经网络架构颠覆了这一局面。这些模型被称为 “Transformer”，能以极大的并行化方式处理数据，效率远远超过 LSTM，尤其是在大规模数据集上。Transformer 掀起了一场革命，迅速成为处理序列的最先进的新方法，取代了长期占主导地位的 LSTM。它标志着构建人工智能系统以理解和生成自然语言的一个重要转折点。

LSTM 简史

LSTM 旨在通过引入遗忘门、输入门和输出门等机制来克服早期循环神经网络 (RNN) 的局限性，共同帮助维持网络中的长期记忆。这些机制使 LSTM 能够了解序列中哪些数据需要保留或丢弃，从而使它们能够根据长期依赖性做出预测。尽管取得了成功，但 LSTM 开始被 Transformer 模型的崛起所掩盖，Transformer 模型在许多任务上提供了更高的可扩展性和性能，特别是在处理大型数据集和长序列方面。

为什么 Transformer 会占据主导地位？

Transformers 之所以能取代它们，是因为它们具有自我关注机制，能够权衡句子中不同单词的重要性，而不管这些单词的位置距离有多远。与 RNN 或 LSTM 不同，Transformers 在训练过程中并行处理数据，从而大大加快了训练过程。不过，Transformers 也并非没有局限性。它们需要大量内存和计算能力，尤其是在大型数据集上进行训练时。此外，如果不继续扩大模型规模和增加数据，它们的性能也会趋于平稳，这表明在极端规模下，它们的收益会逐渐减少。

进入 xLSTM：递归神经网络的新希望？

xLSTM 或扩展 LSTM 提出了一种新方法，通过整合指数门控和矩阵存储器等功能来增强传统 LSTM 架构。这些增强功能旨在解决 LSTM 固有的局限性，例如一旦写入存储信息就很难修改，以及存储单元的容量有限。xLSTM 有可能提高模型处理更复杂模式和更长序列的能力，而不会像 Transformers 那样带来沉重的计算负荷，从而为序列数据处理至关重要的应用提供了一条新的途径。

了解 xLSTM

扩展长短时记忆（xLSTM）模型是传统 LSTM 网络的进步。它集成了新颖的修改，以提高性能，尤其是在大规模语言模型和复杂序列学习任务中。这些改进通过创新的门控机制和记忆结构，解决了传统 LSTM 的主要局限性。

xLSTM 如何修改传统 LSTM？

xLSTM 融合了先进的内存管理和门控过程，扩展了 LSTM 的基本原理。xLSTM 引入了对标准存储单元结构和门控机制的修改，以改善这些方面。

其中一个重大变化是采用了指数门控，使门控能够随时间更动态地调整，从而提高了网络管理较长序列的能力，而不受标准 sigmoid 函数的限制。此外，xLSTM 还修改了存储单元架构，以提高数据存储和检索效率，这对于需要对较长序列进行复杂模式识别的任务来说至关重要。

解密指数门控和内存结构

xLSTM 中的指数门为网络内的信息处理方式引入了一个新的维度。传统门电路通常使用 sigmoid 函数来调节信息流，而指数门电路则不同，它使用指数函数来控制门电路的打开和关闭。这使得网络能够更精确地调整其记忆保持和遗忘率，从而更精细地控制过去的信息对当前状态决策的影响程度。

xLSTM 的记忆结构也得到了增强。传统的 LSTM 使用单个向量来存储信息，当网络试图访问或覆盖数据时，这可能会导致瓶颈。xLSTM 引入了基于矩阵的存储系统，信息存储在多维空间中，允许模型同时处理更大量的信息。这种矩阵设置有利于数据的不同组成部分之间进行更复杂的交互，从而增强了模型区分和记忆数据中更细微模式的能力。

比较：sLSTM 与 mLSTM

xLSTM 架构分为两个主要变体：sLSTM（标量 LSTM）和 mLSTM（矩阵 LSTM）。每种变体都针对内存处理和计算效率的不同方面，以满足各种应用需求。

sLSTM 专注于通过增强传统的单维内存单元结构来完善标量内存方法。它引入了内存混合和多存储单元等机制，使其能够对所保留的数据执行更复杂的计算。这种变体尤其适用于序列数据具有高度相互依赖性并需要对长序列进行细粒度分析的应用。

另一方面，mLSTM 利用矩阵格式扩展了网络的内存容量。mLSTM 在模型需要快速访问和修改大型数据集的环境中尤为有效。

sLSTM 和 mLSTM 提供了一个综合框架，充分利用了标量记忆和矩阵记忆方法的优势，使 xLSTM 成为各种序列学习任务的通用工具。

xLSTM 架构的力量

xLSTM 架构与传统 LSTM 及其同类产品相比，引入了几项关键创新，旨在解决序列建模和长期依赖性管理方面的不足。这些改进主要集中在提高架构的学习能力、对序列数据的适应性以及在复杂计算任务中的整体效率。

有效学习的秘诀

在 xLSTM 架构中集成残差块是一项关键的开发，它增强了网络从复杂数据序列中学习的能力。残差块有助于缓解深度神经网络中常见的梯度消失问题，让梯度更有效地流经网络。在 xLSTM 中，这些区块有助于更稳健、更稳定的学习过程，尤其是在深度网络结构中。通过纳入残差连接，xLSTM 层可以学习对标识函数的增量修改，从而保持网络中信息传递的完整性，并增强模型学习长序列的能力，而不会出现信号衰减。

xLSTM 如何捕捉长期依赖关系

xLSTM 专门设计用于处理涉及顺序数据的任务，这要归功于它对长期依赖性的复杂处理。传统的 LSTM 通过门控机制来管理这些依赖关系；而 xLSTM 则利用其先进的门控和内存系统（如指数门控和矩阵内存结构）扩展了这一功能。这些创新使 xLSTM 能够更有效地捕捉和利用更长时间的上下文信息。这在语言建模、时间序列预测等应用中至关重要，在这些应用中，理解历史数据对于准确预测至关重要。该架构能够保持和处理对过去输入的更详细记忆，大大提高了它在需要深入理解上下文的任务中的性能，为递归神经网络树立了新的标杆。

它能兑现承诺吗？

xLSTM 是一种扩展的 LSTM 架构，旨在通过引入指数门控和矩阵存储器等创新修改来解决传统 LSTM 的不足之处。这些改进提高了模型处理复杂序列数据的能力，并能在各种计算环境中高效运行。通过与 Transformers 等当代架构的比较以及在不同应用领域的应用，对 xLSTM 的有效性进行了评估。

语言建模的性能比较

xLSTM 的定位是挑战 Transformer 模型在语言建模中的主导地位，尤其是在长期依赖性至关重要的情况下。初步基准测试表明，xLSTM 模型的性能很有竞争力，尤其是当数据涉及复杂的依赖关系或需要在较长的序列中保持状态时。在与最先进的 Transformer 模型的对比测试中，xLSTM 表现出了相当或更优的性能，这得益于它能够动态修改存储决策，并能在不明显降低性能的情况下处理更长的序列。

探索 xLSTM 在其他领域的潜力

虽然 xLSTM 的增强功能主要是在语言建模的背景下进行评估的，但其潜在应用范围远不止于此。该架构对顺序数据的强大处理能力和改进的内存功能，使其非常适合其他领域的任务，如时间序列分析、音乐创作，甚至更复杂的动态系统模拟等领域。这些领域的早期实验表明，xLSTM 可以显著改善传统 LSTM 的局限性，为不同领域的研究人员和工程师提供了一种新工具，帮助他们为序列建模难题寻找高效的解决方案。

xLSTM 的内存优势

随着现代应用对机器学习模型的要求越来越高，特别是在处理能力和内存效率方面，优化架构变得越来越重要。本节探讨了与传统Transformers 相关的内存限制，并介绍了 xLSTM 架构，它是一种更高效的替代方案，尤其适合现实世界的应用。

Transformers 的内存限制

Transformers 自问世以来，已在自然语言处理和计算机视觉等多个人工智能领域树立了新标准。然而，它们的广泛应用也带来了巨大的挑战，尤其是在内存消耗方面。Transformers 本身需要大量内存，这是因为其关注机制涉及计算和存储所有输入位置对的值。对于大型数据集或较长的输入序列而言，这将导致内存需求的四次方增长，令人望而却步。

这种内存密集型特性限制了基于 Transformer 的模型的实际应用，尤其是在手机或嵌入式系统等资源有限的设备上。此外，训练这些模型需要大量的计算资源，这会导致能耗增加和运营成本提高。随着人工智能的应用扩展到实时处理和效率至关重要的领域，Transformers 的内存限制成为开发人员和企业日益关注的问题。

适用于真实世界应用的更紧凑、更高效的替代方案

针对 Transformers 的局限性，xLSTM 架构成为一种内存效率更高的解决方案。与 Transformers 不同，xLSTM 不依赖于在所有输入对中广泛使用注意力机制，从而大大减少了内存占用。xLSTM 利用创新的内存结构和门控机制来优化顺序数据的处理和存储。

xLSTM 的核心创新在于其存储单元，它采用了指数门控和新颖的矩阵存储结构，允许有选择地更新和存储信息。这种方法不仅降低了内存要求，还增强了模型处理长序列的能力，而不会丢失信息。修改后的 xLSTM 存储结构包括标量存储器和矩阵存储器，可以更细致、更高效地处理数据依赖关系，因此特别适用于涉及时间序列数据的应用，如金融预测或传感器数据分析。

此外，与传统 LSTM 相比，xLSTM 的架构允许更高的并行化。这一点在 xLSTM 的 mLSTM 变体中尤为明显，该变体的矩阵存储器可以并行更新，从而减少了计算时间，进一步提高了模型的效率。这种并行性与紧凑的内存结构相结合，使 xLSTM 在计算资源有限的环境中成为一种极具吸引力的部署选择。

xLSTM 实际应用：实验验证

实验验证对于证明任何新机器学习架构的有效性和多功能性都至关重要。本节将深入探讨对 xLSTM 进行评估的严格测试环境，重点关注其在语言建模、处理长序列和关联回忆任务中的性能。这些实验展示了 xLSTM 的能力，并验证了它在各种场景中的实用性。

对 xLSTM 进行测试

语言建模是对任何新的自然语言处理架构的基础测试。xLSTM 在传统 LSTM 的基础上进行了改进，并接受了广泛的语言建模测试，以评估其能力。该模型在不同的数据集上进行了训练，其中既有维基文本-103 等标准基准数据集，也有包含 150 亿词条的 SlimPajama 等大型语料库。这些测试的结果很有启发性；与前辈 LSTM 相比，xLSTM 的易混度得分有了明显提高，在某些情况下甚至超过了当代的 Transformer 模型。

进一步的测试包括文本补全和机器翻译等生成任务，在这些任务中，xLSTM 在较长的文本跨度中保持上下文的能力至关重要。其性能突出表现在处理语言语法细微差别和捕捉扩展序列的深层语义方面。这种能力使 xLSTM 特别适用于自动语音识别和情感分析应用，在这些应用中，理解上下文和连续性至关重要。

xLSTM 可以处理长序列吗？

xLSTM 的设计专门应对了这一挑战，加入了更有效地管理长期依赖关系的功能。为了评估这一点，xLSTM 在需要模型处理长数据序列的环境中进行了测试，例如文档摘要和程序代码评估。

xLSTM 在涉及复杂依赖关系和需要在较长时间内保留信息的任务中表现出一致的优势，例如在评估叙述中的时间事件或在模拟真实世界数据流的合成任务中控制长期依赖关系。

https://arxiv.org/pdf/2405.04517

展示 xLSTM 的多功能性

联想回忆是 xLSTM 能力得到严格测试的另一个关键领域。这涉及模型在出现提示或部分输入时正确回忆信息的能力，这是问题解答和基于上下文的检索系统等任务中的常见要求。实验采用了涉及多个查询的关联回忆任务，在这些任务中，模型需要从一组存储的键值对中检索出准确的响应。

在这些实验中，xLSTM 的新型矩阵记忆和指数门控机制使其能够从大量数据集中出色地调用特定信息。这一点在需要区分和检索罕见标记或复杂模式的任务中尤为明显，展示了 xLSTM 优于传统 RNN 和一些新型 Transformer 变体的内存管理和检索能力。

这些跨领域的验证工作凸显了 xLSTM 的鲁棒性和适应性，证实了它在自然语言处理技术领域及其他领域作为高效工具的潜力。xLSTM 超越了以前的模型在处理长序列和复杂召回任务方面的局限性，为扩展 LSTM 架构所能达到的目标设定了新的标准。

最后

xLSTM 集成了指数门控和改进内存结构等先进功能，为基于 LSTM 的架构注入了新的活力。在人工智能领域，它是一种稳健的替代方案，尤其适用于需要高效长期依赖性管理的任务。这一演变表明，递归神经网络的未来大有可为，可增强其在实时语言处理和复杂数据序列预测等各个领域的适用性。

尽管 xLSTM 有所增强，但它不太可能完全取代 Transformers，后者擅长并行处理和利用广泛注意力机制的任务。相反，xLSTM 将成为 Transformers 的补充，尤其是在要求高内存效率和有效长序列管理的场景中，从而为人工智能语言模型工具包的多样化做出贡献。

如果大家对 xLSTM 感兴趣，可以关注本公众号「坍缩的奇点」，日后会有更多相关信息及教程。