视频理解新篇章：Mamba模型的探索与应用

人工智能咨询培训老师叶梓 转载标明出处

在计算机视觉领域，视频理解一直是一个核心研究方向，它要求算法能够捕捉视频中的时空动态以定位活动或推断其演变。随着深度学习技术的发展，研究者们探索了多种架构，如递归神经网络(RNN)、三维卷积神经网络(3D CNN)和Transformers，以期更好地理解视频内容。

一种名为状态空间模型(State Space Model, SSM)的新架构引起了研究者的关注，尤其是Mamba模型，它在长序列建模方面展现出了巨大的潜力。鉴于其在自然语言处理(NLP)领域的成功，研究者们开始探索Mamba模型在视频理解领域的应用前景。

由南京大学、上海人工智能实验室等机构的研究人员联合提出了将Mamba模型应用于视频理解的全面研究。

Mamba模型通过将时变参数引入状态空间模型，并提出了一种硬件感知算法，以实现高效的训练和推理。这种模型在处理长视频时展现出了良好的扩展性能，表明它可能是Transformers的一个有前景的替代方案。

图1在论文中展示了Video Mamba Suite的架构概览，这是一个由14个状态空间模型（SSM）模型/模块组成的套件，旨在处理12种不同的视频理解任务。该图反映了Mamba模型在视频建模中的四种不同角色：时间模型、时间模块、多模态交互网络和空间-时间模型。通过在13个主要数据集上进行广泛的实验，全面评估了Mamba在视频理解领域的潜力和效果，探索了其作为一种高效、高性能的视频处理替代方案的可能性。

想要掌握如何将大模型的力量发挥到极致吗？叶老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具。实战专家1小时讲解让您轻松上手，学习如何使用 Llama Factory 微调模型。

评论留言“参加”或扫描微信备注“参加”，即可参加线上直播分享，叶老师亲自指导，互动沟通，全面掌握Llama Factory。关注享粉丝福利，限时免费录播讲解。

Mamba在视频时序建模中的应用

研究者们探索了Mamba模型在视频时序任务中的应用，这些任务包括动作定位、动作分割、视频描述生成和动作预测。为了评估Mamba模型的性能，研究者们将其与基于Transformer的模型进行了比较。

在表3中，展示了在ActivityNet和YouCook2数据集上进行密集视频描述生成任务的结果。结果显示，采用DBM块的Mamba模型在多个评价指标上超越了基于变形Transformer的PDVC模型。具体来说，DBM块在平均精度均值（mAP）上达到了44.56，比PDVC模型的43.34高出1.22，表明Mamba模型在时序事件定位和字幕生成方面具有更强的性能。

在表4中，研究者们还展示了在视频段落字幕生成任务上的结果，Mamba模型同样展现了其在提取细粒度视觉信息以生成字幕方面的优越性。

Mamba在跨模态交互中的应用

除了单一模态任务，研究者们还评估了Mamba模型在跨模态交互任务中的性能，特别是视频时序定位（VTG）任务。

在表6中，展示了Mamba模型在Qvhighlight和Charade-STA数据集上的视频时序定位任务的结果。Mamba模型在平均精度均值（mAP）上达到了44.74，显著优于基于Transformer的UniVTG模型的38.48。这表明Mamba模型在整合多种模态信息方面具有潜力。

Mamba作为视频时序适配器

研究者们进一步探索了Mamba模型作为视频时序适配器的潜力，特别是在视频-文本对比学习和动作识别任务中。

在表8中，展示了不同模型在EK100数据集上进行零样本多实例检索的结果。Mamba模型在多个评价指标上超越了TimeSformer模型，尤其是在动词识别方面，Mamba模型的性能比TimeSformer模型高出2.8个百分点。

Mamba在时空建模中的应用

最后，研究者们评估了Mamba模型在时空建模方面的能力。

在表11中，展示了不同模型在EK100数据集上进行零样本多实例检索的结果。ViViM模型在多个评价指标上超越了ViT模型，尤其是在处理长序列时，ViViM模型的性能更为显著。

通过Video Mamba Suite，研究者们展示了Mamba模型在视频理解任务中的广泛应用和强大性能。

论文链接：https://arxiv.org/pdf/2403.09626