继RWKV、Mamba、KAN之后号称超越Transformer的线性架构TTT又来了

最早从 23 年 5 月的RWKV(RKWV 系列从 V1 更新到 V6，并且作者确实认真做了不少事情的)，再到去年 12 月的Mamba，到今年 4 月的KAN，再到 5 月的Mamba2，到现在的TTT。
What KAN I say？Mamba out！T_T

先简单回顾一下

RWKV: Reinventing RNNs for the Transformer Era

RWKV（Receptance Weighted Key Value） 模型的架构，和 Transformer 非常类似，也是由多个 RWKV block 组成，最后加一个 language modeling head 输出下一个 token 的分布概率。每个 RWKV block 内部，有一个 Channel Mix 和一个Time Mix 模块。

语言建模的RWKV架构

RWKV block 内部的 Time Mixing 和 Channel Mixing 模块：

RWKV块内的元素（左）和完整的RWKV残差块，配备有用于语言建模的最终头（右࿰