Mamba：3 记忆殿堂

 

Mamba自从出道就一直被拿来和Transformer对比，文章巨多，带着标题的爆炸性字样“颠覆Transfomer”，“全面包围”等等。文章深浅不一，小编认为其背后的设计思路以及演化过程更加重要。为此本专题将从山上有座庙开始，沿着RNN、SSM、S4、HIPPO一路走来。期间抛弃冗杂的文辞，以更接地气的模式协助读者打开新的逻辑思维。

SSM的三种表现形式

接着Mamab2的话题，SSM本身是连续模型，通过某些算法和特殊处理将其改造为能够支持离散输入的模型。其实转化为离散模型之后，它和RNN有了共同点。这个模型和人类记忆的习惯一样，就如同一遍看书，一边总结，一边感悟。

SSM的一个最为关键的特征就是它具备三种不同的表示形式：连续时间、循环模式（离散）和卷积模式。SSM可以在不同的范式之间切换，以便于更加适合特定应用场景的需求。

声明一下在传统SSM文献中，一般输入的符号采用u，输出为y，中间状态为x。之前比较那张比较漂亮的图，中间状态是h，这点读者知晓即可。

连续的SSM和离散的SSM在上文已经详细的介绍过了。这里重点介绍卷积的形态。首先先来回忆下离散SSM的公式如下：