NeurIPS 2024 中与mamba相关的文献分享

NeurIPS（Conference on Neural Information Processing Systems，神经信息处理系统会议）是人工智能和机器学习领域的顶级会议之一。NeurIPS 2024 于 2024年12月10日至15日 在 加拿大温哥华 举行。

在这里博主汇总了这次会议中于mamba相关的所有研究，以供相关方向的同学学习。

BarcodeMamba: State Space Models for Biodiversity Analysis
BarcodeMamba：生物​​多样性分析的状态空间模型

摘要： DNA 条形码在生物多样性分析中至关重要，可用于构建识别已知物种和发现未见过物种的自动识别系统。与人类基因组建模不同，基于条形码的无脊椎动物识别在物种的巨大多样性和分类学的复杂性方面提出了挑战。在基于 Transformer 的基础模型中，BarcodeBERT 在无脊椎动物的物种级识别方面表现出色，突出了对条形码特定数据集进行自我监督预训练的有效性。最近，出现了结构化状态空间模型（SSM），其时间复杂度随着上下文长度呈次二次方缩放。 SSM 提供了相对于基于注意力的架构的序列建模的有效参数化。鉴于 Mamba 和 Mamba-2 在自然语言方面的成功，我们设计了 BarcodeMamba，这是一种用于生物多样性分析中 DNA 条形码的高性能且高效的基础模型。我们对自我监督训练和标记化方法的影响进行了全面的消融研究，并比较了两种版本的曼巴层的表达能力及其识别训练中“看不见的”物种的能力。我们的研究表明，即使仅使用 8.3% 的参数，BarcodeMamba 也比 BarcodeBERT 具有更好的性能，并且在线性探测中将物种级准确度提高到 99.2%，而无需对“看到的”物种进行微调。在我们的缩放研究中，BarcodeMamba 具有 BarcodeBERT 63.6% 的参数，在 1-最近邻 (1-NN) 探测未见过的物种中实现了 70.2% 的属级准确度。用于重现我们实验的代码存储库位于 https://github.com/bioscan-ml/BarcodeMamba。

地址：arXiv:2412.11084 

DiMSUM: Diffusion Mamba -- A Scalable and Unified Spatial-Frequency Method for Image Generation
DiMSUM：扩散曼巴——一种用于图像生成的可扩展且统一的空间频率方法

摘要：我们为扩散模型引入了一种新颖的状态空间架构，有效地利用空间和频率信息来增强对图像生成任务的输入图像中的局部特征的归纳偏差。虽然状态空间网络（包括 Mamba（循环神经网络的革命性进步））通常从左到右扫描输入序列，但它们在设计有效的扫描策略时面临困难，尤其是在图像数据的处理方面。我们的方法表明，将小波变换集成到 Mamba 中可以增强视觉输入的局部结构感知，并通过将频率分解为代表低频和高频分量的小波子带，更好地捕获频率的远程关系。然后，对这些基于小波的输出进行处理，并通过交叉注意融合层与原始 Mamba 输出无缝融合，结合空间和频率信息来优化状态空间模型的顺序意识，这对于模型的细节和整体质量至关重要。图像生成。此外，我们引入了全球共享的变压器来增强 Mamba 的性能，利用其卓越的能力来捕获全球关系。通过对标准基准的大量实验，我们的方法展示了比 DiT 和 DIFFUSSM 更好的结果，实现了更快的训练收敛并提供高质量的输出。代码和预训练模型发布于 https://github.com/VinAIResearch/DiMSUM.git。

地址：arXiv:2411.04168

Sequential Order-Robust Mamba for Time Series Forecasting
用于时间序列预测的顺序顺序稳健 Mamba

摘要：Mamba 最近成为 Transformer 的一个有前途的替代品，在处理顺序数据方面提供了近乎线性的复杂性。然而，虽然时间序列 (TS) 数据中的通道通常没有特定的顺序，但最近的研究采用 Mamba 来捕获 TS 中的通道依赖性 (CD)，从而引入顺序偏差。为了解决这个问题，我们提出了 SOR-Mamba，一种 TS 预测方法，该方法 1）采用正则化策略来最小化从具有相反通道顺序的数据