Efficiently Modeling Long Sequences with Structured State Spaces————Abstract

在序列建模中，一个核心目标是设计一个能够跨越多种模态和任务的统一模型，特别是在处理长距离依赖关系时。虽然传统模型如RNNs（递归神经网络）、CNNs（卷积神经网络）和Transformers都有专门的变种来捕捉长距离依赖关系，但它们在处理超过10000步的非常长序列时仍然面临挑战。最近提出的一种有前景的方法是通过模拟基本的状态空间模型（SSM）来建模序列，该模型形式化如下：

$\dot{x}(t)=Ax(t)+Bu(t),$
$y(t)=Cx(t)+Du(t),$

研究表明，通过适当选择状态矩阵A，这个系统可以在数学上和经验上处理长距离依赖关系。然而，这种方法的计算和内存需求过高，作为一种通用的序列建模解决方案是不现实的。

我们提出了结构化状态空间序列模型（S4），基于对SSM的新参数化，显示出比先前的方法计算更高效，同时保留了它们的理论优势。我们的技术包括对矩阵A进行低秩校正，使其可以稳定地对角化，并将SSM简化为熟知的柯西核计算。

具体数据举例说明

1. CIFAR-10数据集上的性能：
   在没有数据增强或辅助损失的情况下，S4在顺序CIFAR-10数据集上实现了91%的准确率，这与一个更大的二维ResNet模型的表现相当。

2. 图像和语言建模任务中的表现：
   S4大大缩小了与Transformers在图像和语言建模任务上的差距，同时生成速度快了60倍。

3. Long Range Arena基准测试中的表现：
   在所有任务上，S4都达到了最新的性能（SoTA），包括解决了长度为16k的挑战性Path-X任务，这是所有先前工作都未能完成的，同时其效率与所有竞争对手相当。

详细解释

长距离依赖关系处理能力：
S4通过对SSM进行低秩校正，使得矩阵A可以被稳定地对角化，这样就可以用柯西核的计算来简化SSM。这个过程极大地降低了计算复杂度和内存需求，同时保持了处理长距离依赖关系的能力。

低秩校正与柯西核计算：
低秩校正涉及将矩阵A分解为一个对角矩阵加上一个低秩矩阵，这使得对角化过程更稳定。柯西核是一种数学函数，用于解决特定类型的积分问题，在这里它用于简化状态空间模型的计算。

具体实验结果：

• Sequential CIFAR-10: 在顺序处理的CIFAR-10数据集中，S4达到了91%的准确率，而不需要任何数据增强或辅助损失。这一结果与一个更大的二维ResNet模型的表现相当，但S4的计算效率更高。
• 图像和语言建模: 在这些任务中，S4不仅性能接近Transformers，而且在生成速度上快了60倍。这意味着在实际应用中，S4可以更快速地处理大量数据。
• Long Range Arena: 在这一基准测试中，S4在所有任务上都达到了最新的性能标准，尤其是在长度为16k的Path-X任务中，S4是第一个成功完成这一任务的模型。

通过以上解释和具体数据例子，可以看出S4在处理长距离依赖关系的序列数据上具有显著的优势，同时其计算和内存需求大大降低，具备很高的实际应用价值。