SSM 能取代 Transformer 搞出更「牛」的大模型吗？

事件：基于注意力机制的 Transformer 架构 和 Scaling Law 是公认推动这一轮 AI 革新的根源，挖掘 Transformer 更多的潜力或将解决目前大模型所面对的诸多局限性问题。近期 CoPE、KAN、Abacus 嵌入等工作均从不同维度拓宽了 Transformer 的能力边界。但在一系列进展中，SSM 与注意力机制可以互补的发现将对 Transformer 的探索推向了一个新的小高潮。

什么？! 最强 Transformer 挑战者 SSM 竟和 Transformer 是一回事？

1、SSM（Structured State Space Models）是一类深度学习中的序列模型，它们结合了循环神经网络（RNNs）、卷积神经网络（CNNs）以及经典的线性状态空间模型的特点。

① 这些模型在计算上非常高效，可以通过递归或卷积的方式实现，并且随着序列长度的增加，它们的计算复杂度呈线性或近似线性增长。

② SSM 还具备在特定数据模态中建模长距离依赖性的能力，并在长范围竞技场等基准测试中表现出色

③ Mamba 模型是引发近期业界关注 SSM 的主要原因。Mamba 提出了选择性 SSM 的概念，它通过使 SSM 参数成为输入的函数来克服离散模态上的弱点，允许模型根据当前 token 沿序列长度维度有选择地传播或遗忘信息。

④ Mamba 通过引入选择性状态空间机制，提高了对长序列建模的有效性，而 SSM 则因其线性计算复杂度和上下文感知能力，成为了 Transformer 的潜在替代模型。

2、自 Mamba 在 2023 年被提出，这种状态空间模型（SSM）在中小型规模上已经实现了与 Transformers 匹敌，甚至更优的表现。

① 从 Mamba 开始，SSM 开始受到更多关注，也由此衍生了许多变体。

② 基于 SSM，Mamba 架构可以随上下文长度的增加实现线性扩展，解决了 Transformer 自注意力机制在这种增长在计算量暴增的局限，因此关于「Mamba 将有机会取代 Transformer」的说法不时出现。

3、在 Mamba 提出后，也有工作尝试将 SSM 与 Transformer 组合使用。NeurIPS 2023 的一篇论文提出的 Block-State Transformer 架构将基于局部注意力的归纳偏差与长期上下文建模能力组合到了一起，做成了单一层。[19]

① 该工作提出的 BST 模型不仅能轻松支持 65k token 长度的超长输入，而且计算效率还非常高，速度相比使用循环单元的 Transformer 提升十倍。

② 该工作发布时， Mamba 作者之一 Tri Dao 也点赞表示「SSM 和 Transformer 似乎可以互补。」

4、Mamba 的原班人马在近期 Mamba-2 的论文中，通过提出结构化状态空间对偶性（SSD）的理论框架，证明了 Transfomer 和 SSM 在数学层面上存在极为紧密的联系。

① 该工作将 SSM（状态空间模型）和 SMA（结构化掩码注意力）联系起来，显示它们有一个很大的交集，彼此是对偶的，同时具有 SSM 式的线性形式和类似注意力的二次方形式。

② 该工作还证明了任何具有快速循环形式的核注意方法都是 SSM。

③ 该工作还发现，结合了 4-6 个注意力层的 Mamba-2 在表现上可以更优，从而验证了注意力和 SSM 确实可以互补。

图：SSD 框架（红、蓝）介绍。状态空间模型（即半可分矩阵）和结构化掩码注意力（SMA）囊括了一大类高效序列模型。它们的交集就是 SSD 模型（紫色）。

为什么从数学上来讲，SSM 和 Transformer 是一回事？[13]

Mamba 的作者在论文《Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality》中构建了 SSD（state space duality）理论框架，从数学的角度证明了许多线性注意力变体和 SSM 是等效的。

1、Mamba-2 论文的重点在于结构化状态空间对偶性（SSD，也称选择性 SSM），它代表着：

① SSD 模型（model）指可以纳入深度神经网络（如注意力机制或 SSM）的特定独立层

② SSD 框架（framework）是推理此模型（以及更多理论联系）的通用框架

③ SSD 算法（algorithm）是一种比以往 SSM 更有效地计算 SSD 层的算法

2、在论文中，研究者分别从 SSM 的角度和注意力的角度出发，用两种完全不同的方式推导出了 SSD「对偶性（duality）」。

3、论文先从 SSM 的角度出发，通过矩阵序列变换/矩阵混合器的框架来证明对偶性。

① 许多序列模型都可以写成矩阵乘法的形式，如 Y = M（X） · X，这种形式被称为矩阵序列变换（matrix sequence transformation），或者简称为矩阵变换（matrix transformation，也有 matrix mixer 的说法）。

② 在许多领域的文献中都有此类以结构为特征矩阵的例子，而自注意力本身则是事实上的例子，比如𝑀=𝑠𝑜𝑓𝑡𝑚𝑎𝑥（𝑄𝐾^T）就是注意力矩阵。

③ 关心此类模型的缘由在于，将序列模型写作矩阵变换形式可以为理解模型的结构和特性提供强有力的工具。

④ 虽然一般的非线性 RNN（如 LSTM）不能写成 matrix mixer，但状态空间模型（SSM）可以。SSM 写成的矩阵变换形式有一个特殊的名字，称为（三角）半可分矩阵（（triangle）semiseparable matrices）。

4、论文从算法角度考虑了 SSM 写成 matrix mixer 形式，其核心结论之一在于：「所有 SSM 的算法都可以看作是半可分矩阵上的结构化矩阵乘法算法」

① 在此基础上， SSD 模型的对偶性可以看作是半可分矩阵上的两种不同的矩阵乘法算法。

② 最初的 SSM 是线性非时变（Time-Invariant）的。由于半可分矩阵的低秩结构可以对应 SSM 模型中的状态变量，因此矩阵乘法可以看作 SSM 的线性时变（Time-Varying）系统，也就是 SSD 可以看作广义的线性注意力机制。

图：半可分矩阵对角线的上方和下方包含的所有子矩阵都是低秩的

5、论文又从注意力的角度出发，通过张量收缩框架来证明对偶性。

① 研究者在这里定义了结构掩码注意力（Structured masked attention，SMA），证明了线性注意力中出现的累计和（cumulative sum） 完全等同于 因果掩码（causal mask）也就是矩阵乘法编码的累计和。也就是

• y = L·x <=> y = cumsum(x)

② 首先，线性注意力的二次形式可以写作一个四向的张量收缩（4-way tensor contraction），也就是「queries/keys/values」和任意结构化矩阵「L」的函数，即

• 𝑌 = contract(TN, SN, SP, TS → TP) (𝑄, 𝐾,𝑉 , 𝐿).

③ 然后，它可以用任何其他收缩顺序来计算，也就是可以对顺序进行成对缩减代替

• Z=contract(SP,SN → SPN)(V,K)
• H = contract(TS, SPN → TPN)(L, Z)
• Y = contract(TN, TPN → TP)(Q,H)

④ 关键的发现在于上述第二行公式，其可以看作一个矩阵乘法，可以通过累计和的形式计算。因为不需要写出一个单一的总结，因此可以被抽象为张量收缩与结构的结合，证明了线性注意力中累计和的主张。

⑤ 由此 SMA 的定义可以写作：一个采用结构化矩阵的注意力掩码的四向张量收缩。SMA 所具备的双重二次（dual quadratic）和线性模式可以简单表示成两个不同的成对缩减阶数。

6、当注意力的掩码矩阵处于半可分状态，基本就和 SSM 等价。

① SSD 模型在公式中可以被定义为标量恒等（scalar identity）SSM，或是类似注意力的形式。

② 类似双重注意的 SSD 层表述形式，可以理解为 SMA 的一个特例。其主要特殊之处就是它的矩阵形式，论文把这种矩阵称为「1-半可分矩阵」，简称 1-SS 矩阵。

③ 体而言，SSD 模型可以看作是一个 1-SS SMA，

7、基于 SSD 框架设计的 Mamba-2 架构比初代 Mamba 支持更大的状态维度（从 16 扩展到 256+），且具备更快的训练速度。

① 借由注意力和 SSM 之间的联系，SSD 能够将 Transformer 架构的优势引入 SSM。如通过张量并行和序列并行将 SSM 扩展成更大的模型和更长的序列，或是通过引入可变序列长度帮 SSM 实现更快的微调和推理。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
  • L1.4.1 知识大模型
  • L1.4.2 生产大模型
  • L1.4.3 模型工程方法论
  • L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
  • L2.1.1 OpenAI API接口
  • L2.1.2 Python接口接入
  • L2.1.3 BOT工具类框架
  • L2.1.4 代码示例
  • L2.2 Prompt框架
  • L2.2.1 什么是Prompt
  • L2.2.2 Prompt框架应用现状
  • L2.2.3 基于GPTAS的Prompt框架
  • L2.2.4 Prompt框架与Thought
  • L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
  • L2.3.1 流水线工程的概念
  • L2.3.2 流水线工程的优点
  • L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
  • L3.1.1 Agent模型框架的设计理念
  • L3.1.2 Agent模型框架的核心组件
  • L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
  • L3.2.1 MetaGPT的基本概念
  • L3.2.2 MetaGPT的工作原理
  • L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
  • L3.3.1 ChatGLM的特点
  • L3.3.2 ChatGLM的开发环境
  • L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
  • L3.4.1 LLAMA的特点
  • L3.4.2 LLAMA的开发环境
  • L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓