VideoAgent: Long-form Video Understanding with Large Language Model as Agent

本文是LLM系列文章，针对《VideoAgent: Long-form Video Understanding with Large Language Model as Agent》的翻译。

摘要

长格式视频理解是计算机视觉中的一个重大挑战，需要一个能够对长多模态序列进行推理的模型。受人类对长视频理解的认知过程的启发，我们强调交互式推理和规划，而不是处理长视频输入的能力。我们介绍了一种新的基于代理的系统VideoAgent，该系统使用大型语言模型作为中心代理来迭代识别和编译关键信息以回答问题，视觉语言基础模型作为翻译和检索视觉信息的工具。根据具有挑战性的EgoSchema和NExT-QA基准进行评估，VideoAgent在平均仅使用8.4和8.2帧的情况下，实现了54.1%和71.3%的零样本准确率。这些结果表明，与当前最先进的方法相比，我们的方法具有优越的有效性和效率，突出了基于代理的方法在推进长格式视频理解方面的潜力。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在这项工作中，我们介绍了VideoAgent，这是一个使用大型语言模型作为agent来反映人类理解长格式视频的认知过程的系统。Vid