Video Understanding with Large Language Models: A Survey

本文是LLM系列文章，针对《Video Understanding with Large Language Models: A Survey》的翻译。

摘要

随着在线视频平台的蓬勃发展和视频内容量的不断增加，对熟练的视频理解工具的需求明显加剧。鉴于大型语言模型（LLM）在语言和多模式任务中的卓越能力，本调查详细概述了利用LLM（Vid-LLM）的力量进行视频理解的最新进展。Vid LLM的新兴能力惊人地先进，特别是它们与常识知识相结合的开放式时空推理能力，为未来的视频理解提供了一条很有前途的途径。我们研究了视频LLM的独特特性和功能，将这些方法分为四种主要类型：基于LLM的视频代理、视频LLM预训练、视频LLMs指令调整和混合方法。此外，本调查对Vid LLM的任务、数据集和评估方法进行了全面研究。此外，它还探索了Vid LLM在各个领域的广泛应用，突出了其在现实世界视频理解挑战中的显著可扩展性和多功能性。最后，总结了现有Vid LLM的局限性，并概述了未来研究的方向。有关详细信息，建议读者访问存储库，网址为https://github.com/yunlong10/Awesome-LLMs-for-Video-Understanding.

1 引言

2 基础

2.1 与LLM的视觉集成

2.2 语言在视频理解中的角色

2.3 其他模态