从秒级到小时级：TikTok等发布首篇面向长视频理解的多模态大语言模型全面综述

AI生成未来

已于 2024-10-09 23:55:19 修改

阅读量3k

点赞数 31

分类专栏： LLM 多模态文章标签： LLM 大语言模型多模态

于 2024-10-09 23:45:13 首次发布

本文链接：https://blog.csdn.net/AIGCer/article/details/142799336

版权

文章链接：https://arxiv.org/pdf/2409.18938

亮点直击

追踪并总结从图像理解到长视频理解的MM-LLMs的进展;

回顾了各种视觉理解任务之间的差异，并强调了长视频理解中的挑战，包括更细粒度的时空细节、动态事件和长期依赖性;

详细总结了MM-LLMs在理解长视频方面的模型设计和训练方法的进展;

比较了现有MM-LLMs在不同长度视频理解基准上的表现，并讨论了MM-LLMs在长视频理解中的潜在未来方向。

将大语言模型（LLMs）与视觉编码器的集成最近在视觉理解任务中显示出良好的性能，利用它们理解和生成类人文本的固有能力进行视觉推理。考虑到视觉数据的多样性，多模态大语言模型（MM-LLMs）在图像、短视频和长视频理解的模型设计和训练上存在差异。本论文集中讨论长视频理解与静态图像和短视频理解之间的显著差异和独特挑战。与静态图像不同，短视频包含具有空间和事件内时间信息的连续帧，而长视频则由多个事件组成，涉及事件之间和长期的时间信息。在本次调研中，旨在追踪并总结从图像理解到长视频理解的MM-LLMs的进展。回顾了各种视觉理解任务之间的差异，并强调了长视频理解中的挑战，包括更细粒度的时空细节、动态事件和长期依赖性。然后，详细总结了MM-LLMs在理解长视频方面的模型设计和训练方法的进展。最后，比较了现有MM-LLMs在不同长度视频理解基准上的表现，并讨论了MM-LLMs在长视频理解中的潜在未来方向。

引言

大语言模型（LLMs）通过扩大模型规模和训练数据，展现了在理解和生成类人文本方面的卓越多功能性和能力。为了将这些能力扩展到视觉理解任务，提出了多种方法将LLMs与特定视觉模态编码器集成，从而赋予LLMs视觉感知能力。单张图像或多帧图像被编码为视觉tokens，并与文本tokens结合，以帮助多模态大语言模型（MM-LLMs）实现视觉理解。针对长视频理解，MM-LLMs被设计为处理更多的视觉帧和多样的事件，使其能够应用于广泛的现实场景，例如自动分析体育视频、电影、监控录像和在具身AI中的自我中心视频的精彩片段。例如，一台机器人可以通过长时间的自我中心视频学习如何制作咖啡。它需要分析长视频中的关键事件，包括：1）每6盎司水测量1到2汤匙的咖啡粉；2）将水加入咖啡机的水箱；3）将咖啡粉放入滤网；4）启动咖啡机并等待冲泡。建模具有复杂时空细节和依赖关系的长格式视频仍然是一个挑战性问题。

长视频理解与其他视觉理解任务之间存在显著差异。与仅关注静态图像空间内容的静态图像理解相比，短视频理解还必须考虑连续帧变化中的事件内时间信息。此外，超过一分钟的长视频通常包含多个场景和视觉内容不同的事件， necessitating捕捉显著的事件间和长期变化以实现有效理解。有效平衡有限数量的视觉tokens中的空间和时间细节，对长视频大语言模型（LV-LLMs）构成了相当大的挑战。此外，不同于仅持续几秒并包含数十个视觉帧的短视频，长视频往往涵盖数千帧。因此，LV-LLMs必须能够记忆并持续学习跨越数分钟甚至数小时的视频中的长期关联。MM-LLMs在全面长视频理解方面的进展，特别是在模型设计和训练上，值得特别关注。

我们在图2中总结了MM-LLMs在图像、短视频和长视频理解方面的比较。除了上述讨论的长视频理解与其他视觉理解任务之间的继承和发展关系外，LV-LLMs还建立在多图像和短视频MM-LLMs的进展之上，具有相似的视觉编码器结构、LLM主干和跨模态连接器。为有效应对长视频理解任务中新引入的挑战，LV-LLMs设计了更高效的长视频级连接器，这些连接器不仅桥接跨模态表示，还将视觉tokens压缩到可管理的数量。此外，通常还会结合时间感知模块，以增强LV-LLMs中时间信息的捕获。在预训练和指令调优中，视频-文本对和视频-指令数据对MM-LLMs处理图像和视频具有重要意义，因其共享空间感知和推理能力。长视频训练数据集对于时间跨模态语义对齐和捕获长期相关性尤其有益，这对于LV-LLMs至关重要。本文调查将全面总结最近在模型设计和训练方法上的进展，追踪MM-LLMs从图像到长视频的演变。

近期关于视觉理解任务的调查通常采用单一视角，或从全局视角回顾MM-LLMs，或从局部视角关注图像或视频理解任务。虽然这些研究对研究主题进行了广泛的回顾，但未讨论不同任务和方法之间的开发和继承关系。此外，现有关于视频理解任务的评述往往更侧重于一般视频理解，而不是更具挑战性的长视频理解任务。超过一分钟的长视频被广泛应用于教育、娱乐、交通等领域，迫切需要强大的模型进行全面的自动理解。我们的工作是较早从发展视角总结和讨论长视频理解任务的研究之一。