斯坦福：多模态状态空间模型

📖标题：Mixture-of-Mamba: Enhancing Multi-Modal State-Space Models with Modality-Aware Sparsity
🌐来源：arXiv, 2501.16295

🌟摘要

🔸状态空间模型 (SSM) 已成为 Transformer 进行序列建模的有效替代方案，但它们无法利用特定于模态的特征限制了它们在多模态预训练中的性能。在这里，我们提出了 Mixtureof-Mamba，这是一种新颖的 SSM 架构，它通过 Mamba 块的模态特定参数化引入模态感知稀疏性。
🔸基于Mixture-of-Transformers，我们在保持计算效率的同时，将模态感知稀疏性的好处扩展到ssm。我们在三种多模态预训练设置中评估 Mixture-of-Mamba：Transfusion（交错文本和带有扩散损失的连续图像标记）、Chameleon（交错文本和离散图像标记）以及一个包含语音的扩展三模态框架。
🔸研究结果表明，Mixture-of-Mamba在计算效率方面具有显著的性能提升，并能够在保持或提高性能的同时降低计算成本。我们的代码可以在 https://github.com/Weixin-Liang/Mixture-of-Mamba