【mamba学习】（一）SSM原理与说明

mamba输入输出实现与transformer几乎完全一样的功能，但速度和内存占用具有很大优势。对比transformer，transformer存在记忆有限的情况，如果输入或者预测的序列过长可能导致爆炸（非线性），而mamba不存在这种情况。

SSM（state space model）

例：对小车系统，当前状态完整信息需要位置，速度的完整信息以预测未来，经过推导（式3），最后当前状体求导（预测未来走向）取决于当前state以及model的input（拉力摩擦力等）

这个过程是一个递归过程，系统输入输出的高阶等式被转换成状态机表示的低阶表达式（state维数换阶数）

一般连续时间SSM

例：以摆锤（物理模型）为例。两侧有不稳定驻点。中间是最后平衡点，它的vector field如图所示。

原微分方程如下方所示，二阶，通过拆分成二维表示的状态，阶度降低，整体呈线性。

每一个当前状态可以根据vector field预测下一个state，直至稳定状态（或者说最后得到输出）

一般离散时间SSM

如何定义线性系统

SSM节约计算时间的重要原因是，它是线性系统，阶数低，计算速度快

all i care about is A，B，C，D matrix

如何构造SSM模型

在机器学习过程中，delta（步长）不会作为输入，而是待训练的参数。