VideoRAG: 视觉对齐检索增强长视频理解-CSDN博客

本文链接：https://blog.csdn.net/m0_56255097/article/details/145055415

Video-RAG: Visually-aligned Retrieval-Augmented Long Video Comprehension

近期，一项由厦门大学和罗切斯特大学联合推出的研究Video-RAG在长视频理解领域取得突破。该方法巧妙地将视觉对齐的文本信息作为辅助文本作为输入，让72B的开源视觉语言模型（LVLM）也能达到商业模型的表现水平。这项研究为长视频理解提供了一个高效且实用的解决方案。相比现有方法，Video-RAG既保持了较高的性能表现，又大大降低了部署和使用成本。

论文：https://arxiv.org/abs/2411.13093
代码：https://github.com/Leon1207/Video-RAG-master
项目网站：https://video-rag.github.io/

一、研究背景

目前的视觉语言模型在理解长视频时仍然具有挑战。主流的方案主要有两类：其一是扩展LVLMs的上下文长度以增强长视频理解能力的方法（如LongVA），其二是将检索增强生成（RAG）以及智能代理（Agent）技术应用于视频任务（如VideoAgent），但这些方法在处理长视频时存在对齐视觉上下文的挑战，并且资源消耗大。微调一个LVLMs需要高质量的长上下文语料，而基于智能代理的方案往往需要商业语言模型（例如GPT-4o）进行驱动，对于API的消耗十分巨大。

二、技术创新

为了解决这些问题，Video-RAG提出了一个轻量级的解决方案：

利用开源工具从视频中提取文字、语音和物体检测等辅助信息
通过检索增强生成（RAG）技术筛选出与问题相关的信息，在解决上下文窗口限制的同时，提取与查询更加对齐的辅助信息
将筛选后的信息与视频帧一起输入到LVLM中

第一步：查询解耦，用户的查询被分解为检索请求，用于从目标视频中提取三类不同的辅助文本。在这个阶段，LVLM仅处理文本信息，不访问视频帧，输出请求格式为JSON。

第二步：辅助文本生成与检索。

光学字符识别（OCR）数据库，使用EasyOCR模型从每个采样视频帧中提取文本，并使用Contriever模型将其编码为文本嵌入，存储在FAISS索引中，用于通过RAG技术进行检索；
自动语音识别（ASR）数据库，使用Whisper模型从视频中提取音频转录文本，并将其编码为向量数据库；
对象检测（DET）数据库，使用APE模型从关键帧中提取对象类别和位置信息，并使用场景图预处理对象信息（包括物体位置、数量以及关系信息），构建更连贯的文本表示；

第三步：整合与生成，将检索到的辅助文本与用户查询和视频帧一起输入LVLM，生成最终响应。

Video-RAG利用开源工具从纯视频数据中提取视觉对齐的辅助文本，增强了LVLMs的能力。由于采样的视觉内容通常缺乏与指令查询的显式对齐，容易产生幻觉。而辅助文本的输入可以促进跨模态对齐，同时减少模态之间的差异。通过Video-RAG，检索到的辅助文本帮助引导LVLM更多地关注与查询相关的关键帧，同时促进查询与关键帧之间的跨模态对齐，例如以下这个例子：