论文简要目录

SSM属性概述

第二节——背景：状态空间（Background: State Spaces）

简介

在第1节中，我们介绍了状态空间模型（SSMs）的四种属性，这些属性在图1中有所描述：经典的连续时间表示、使用HiPPO框架处理LRD、离散时间递归表示和可并行化的卷积表示。特别是，第2.4节引入了SSM卷积核K，这是我们在第3节中理论贡献的重点。

第2.1节：经典连续时间表示

经典连续时间表示涉及状态空间模型（A,B,C），其中矩阵A描述了系统的状态转移，矩阵B和C分别描述了输入和输出的映射关系。

第2.2节：使用HiPPO框架处理LRD

HiPPO框架用于处理长期依赖关系（LRD），通过调整状态转移矩阵A来增强模型对输入历史的记忆能力，从而提升模型性能。

第2.3节：离散时间递归表示

离散时间递归表示将连续时间SSM离散化，转换为状态方程的递推形式，允许通过迭代计算来处理输入序列。

第2.4节：可并行化的卷积表示

可并行化的卷积表示引入了SSM卷积核K，将状态空间模型表达为输入序列和卷积核之间的卷积操作。这种表示方式具有高效计算的优势，特别是通过快速傅里叶变换（FFT）可以实现高效计算。

第三节：理论贡献的重点

第3节聚焦于SSM卷积核K的理论贡献。我们探讨了如何有效地计算和应用K，以提高模型的计算效率和性能。这部分的理论贡献包括对K的形式化定义、相关技术的介绍以及S4参数化的应用，旨在解决序列模型中的关键问题和挑战。

技术结果概述

研究重点

我们的技术成果集中在开发 S4 参数化，并展示如何高效计算所有视图的状态空间模型（SSM）（第2节）：连续表示（A,B,C）（1），递归表示（A,B,C）（3），以及卷积表示 K（4）。第3.1节解释了我们方法的动机，基于共轭和对角化的线性代数概念，并讨论了为什么简单应用这种方法并不起作用。第3.2节概述了我们方法的关键技术组成部分，并正式定义了 S4 参数化。第3.3节概述了主要结果，展示了 S4 对于序列模型在渐近效率上是有效的（在对数因子上）。证明在附录 B 和 C 中进行。

S4 参数化

S4 参数化是我们方法的核心，它允许我们以一种更高效的方式描述和计算连续、递归和卷积表示的状态空间模型。这种参数化利用了线性代数中的共轭和对角化概念，以及相关的技术组成部分，从而在计算复杂性和效率之间找到了一个平衡点。

主要技术组成部分

我们方法的关键技术组成部分包括：

• 共轭和对角化概念的应用：利用这些概念来转换和优化状态空间模型的表示。
• S4 参数化的形式定义：明确定义了 S4 参数化的结构和特性，使其适用于不同的表示形式。
• 渐近效率分析：展示了 S4 参数化在序列模型中的渐近效率，这在实际应用中具有重要意义。

结论

通过这些研究，我们展示了如何通过 S4 参数化来提高状态空间模型的描述和计算效率。我们的方法不仅仅是理论上的探索，还实现了对实际问题的解决方案。证明细节可以在附录中找到，这些证明进一步支持了我们方法的有效性和理论基础。