Method: Structured State Spaces (S4)——动机：对角化（Motivation: Diagonalization）

本文链接：https://blog.csdn.net/m0_51200050/article/details/140371149

动机：对角化（Motivation: Diagonalization）

计算离散时间状态空间模型（SSM）（3）的主要瓶颈在于需要通过矩阵 $A$ 进行重复的矩阵乘法运算。例如，像LSSL中那样朴素地计算（5），需要进行 L 次连续的 $A$ 矩阵乘法。这种方法需要 $O(N^2 L)$ 次操作和 $O (N L)$ 的空间。
在这里插入图片描述

具体来说，这意味着每一步计算都要涉及到 $A$ 的乘法操作，随着步数 $L$ 的增加，计算复杂度会显著增加。这些操作不仅耗费大量的计算资源，还需要存储大量的中间结果，因为每次乘法运算都需要维护一个 $\times N$ 的矩阵。

优化这一过程的关键在于寻找可以减少乘法操作次数或者优化乘法运算的方法，以提高计算效率并减少存储需求。

引理 3.1 共轭在SSM上的等价关系

引理 3.1: 共轭在状态空间模型 (SSM)（A, B, C）上构成了等价关系，即 (A, B, C) ∼ (V^-1AV, V^-1B, CV)

证明:

我们将两个 SSM 写出来，分别用 $x$ 和 $\tilde{x}$ 表示状态：

对于第一个 SSM:
$\dot{x} = Ax + Bu \\ y = Cx$

对于第二个 SSM:
$\dot{\tilde{x}} = V^{-1}AV \tilde{x} + V^{-1}Bu \\ y = CV \tilde{x}$

通过将右侧的 SSM 乘以 $V$ ，可以得到：
$\dot{\tilde{x}} = V (V^{-1}AV \tilde{x} + V^{-1}Bu) \\ V \dot{\tilde{x}} = AV \tilde{x} + Bu$

令 $\tilde{x}$ ，我们有：
$\dot{x} = A x + Bu \\ y = C x$

因此，这两个 SSM 计算出完全相同的操作符 $\rightarrow y$ ，只是通过 $V$ 在状态 $x$ 中进行了基底变换。

解释：

共轭在状态空间模型中的作用在于，通过适当的矩阵 $V$ 进行基底变换，可以将原始的状态空间表示 $(A, B, C)$ 转换为一个等价的状态空间表示 $V^{-1}AV, V^{-1}B, CV)$ 。这种等价关系意味着在状态空间中进行的变换并不改变系统的输入输出特性，而是通过改变状态表示的基底来简化计算。

这种方法的一个重要应用是将矩阵 $A$ 转换为一个更有结构的形式，比如对角矩阵。对角矩阵的计算特别简单，因为对角元素的幂次计算可以单独进行，从而大大减少计算的复杂度。通过这种方法，可以显著提高离散时间 SSM 的计算效率。

综上所述，引理 3.1 表明，通过适当的共轭变换，可以将状态空间模型简化为计算更高效的形式，从而克服在实际应用中的计算瓶颈。

引理 3.1 的动机：通过共轭将 $A$ 转换为规范形式

引理 3.1: 共轭在状态空间模型 (SSM)（A, B, C）上构成了等价关系，即 (A, B, C) ∼ (V^{-1}AV, V^{-1}B, CV)。

动机:
将矩阵 $A$ 转换为规范形式（例如对角矩阵），可以显著简化计算过程，提高计算效率。特别地，如果 $A$ 是对角矩阵，计算相应的卷积核 $K$ （公式 (4)）将变得更加易处理。

规范形式的优点

计算简化:
当 $A$ 是对角矩阵时，矩阵的幂次计算变得非常简单。这是因为对角矩阵的幂次计算只需对其对角元素进行幂次运算：
$\text{diag}(\lambda_1, \lambda_2, ..., \lambda_N)$
$D^k = \text{diag}(\lambda_1^k, \lambda_2^k, ..., \lambda_N^k)$
这大大简化了计算。
卷积核 $K$ 的高效计算:
当 $A$ 被对角化后，计算卷积核 $K$ 可以表示为范德蒙德乘积。范德蒙德矩阵的乘法运算可以通过快速傅里叶变换（FFT）高效计算，从而显著降低计算复杂度。理论上，这只需要 $O((N + L) \log^2(N + L))$ 次算术运算【29】。

例子

假设我们有一个矩阵 $A$ ，其对角化形式为 $D$ ，并且 $A$ 被共轭变换为 $V^{-1}AV = D$ 。对于状态空间模型中的计算：
$K = (CB, CAB, ..., CA^{L-1}B)$
在 $A$ 是对角矩阵的情况下，计算 $CA^kB$ 变得更加简单和高效，因为每次幂次计算仅涉及对角元素的幂次运算。

总结

通过将矩阵 $A$ 转换为规范形式（特别是对角化），可以显著简化状态空间模型的计算。这一方法利用了范德蒙德矩阵的性质，通过快速傅里叶变换等高效算法，降低了计算复杂度，使得状态空间模型在处理大规模序列数据时更加高效和实用。

具体应用

对于实际应用中的 SSM，尤其是在处理长序列数据时，将 $A$ 转换为对角形式或其他易处理的规范形式，可以大大减少计算负担，提升算法的效率和性能。通过这种方式，可以更有效地处理复杂的时序数据任务，提高系统的响应速度和准确性。

引理 3.2：HiPPO 矩阵的对角化

引理 3.2: 公式（2）中的 HiPPO 矩阵 $A$ 可以通过矩阵 $V$ 对角化，具体如下：

$V_{ij} = \binom{i+j}{i-j}$

特别地，对于 $V_{3i,i}$ 有：

$V_{3i,i} = \binom{4i}{2i} \approx 2^{4i}$

因此，矩阵 $V$ 的元素大小可以达到 $2^{4N/3}$ 。

详细解释

HiPPO 矩阵 $A$ 的对角化:
根据引理 3.2，我们知道 HiPPO 矩阵 $A$ 可以通过矩阵 $V$ 对角化。这意味着存在一个矩阵 $V$ 和一个对角矩阵 $D$ ，使得：
$A = VDV^{-1}$
其中， $V$ 的元素通过组合数计算得到。
矩阵 $V$ 的元素:
矩阵 $V$ 的元素通过组合数表示：
$V_{ij} = \binom{i+j}{i-j}$
特别地，对于对角元素 $V_{3i,i}$ ，我们有：
$V_{3i,i} = \binom{4i}{2i} \approx 2^{4i}$
这是因为组合数在大指数时可以近似为指数函数。
数值问题:
由于 $V$ 的元素大小可以达到 $2^{4N/3}$ ，这意味着当状态大小 $N$ 增大时，矩阵 $V$ 中的元素将呈指数级增长，导致数值计算中的溢出或精度问题。这种增长使得对角化在数值上变得不可行。