开源视频字幕模型Video ReCap，可处理2小时！

随着抖音、快手等平台的火爆出圈，越来越多的用户开始制作大量的短视频内容。但对这些视频进行有效的理解和分析仍面临一些困难。尤其是视频时长超过几分钟、甚至几小时，传统的视频字幕生成技术往往无法满足需求。

因此，北卡罗来纳大学和Meta AI的研究人员开源了，视频字幕模型Video ReCap。这是一种递归视频字幕生成模型，能够处理从1秒到2小时的视频，并在多个层级上输出视频字幕。

此外，研究人员通过在Ego4D上增加8,267个手动收集的长视频摘要，引入了一个层次化视频字幕数据集Ego4D-HCap，并使用该数据集对Video ReCap进行了综合评估。

结果显示，Video ReCap在短视频片段字幕、中等长度段描述和长视频摘要的测试指标均明显超过多个强大基准模型。通过该模型生成的分层视频字幕，也能显著提升基于EgoSchema数据集的长视频问答效果。

开源地址：https://github.com/md-mohaiminul/VideoRecap?tab=readme-ov-file

论文地址：https://arxiv.org/abs/2402.13250

Video ReCap模型介绍

Video ReCap的核心技术是使用了递归视频语言架构，主要通过递归处理机制，使模型能够在不同的时间长度和抽象层级上理解视频，从而生成精确且层次丰富的视频描述字幕。主要由3大模块组成。

1）视频编码器