突破视频多模态大模型瓶颈!「合成数据」立大功,项目已开源

视频多模态大模型(LMMs)的发展受限于从网络获取大量高质量视频数据。为解决这一问题,我们提出了一种替代方法,创建一个专为视频指令跟随任务设计的高质量合成数据集,名为 LLaVA-Video-178K。

该数据集包含详细的视频的描述、开放式问答(QA)、和多项选择题。通过在该数据集和现有的视觉指令微调数据上训练模型,我们推出了新的视频 LMM——LLaVA-Video。实验表明,LLaVA-Video 在多个视频基准上表现出色,展示了该数据集的有效性。

  • 论文标题:VIDEO INSTRUCTION TUNING WITH SYNTHETIC DATA

  • 论文链接:https://arxiv.org/pdf/2410.02713

  • 项目主页:https://llava-vl.github.io/blog/2024-09-30-llava-video/

先来看一组交互性演示,了解 LLaVA-Video 在真实世界中与人交互:

1.LLaVA-Video 教我下载 “TikTok”:

2.LLaVA-Video 描述我的客厅,并指导我找健康饮料:

视频指令跟随数据合成

一个高质量的视频指令跟随数据集对于开发有效的视频语言模型至关重要。我们确定了构建此类数据集的关键因素:确保视频内容和语言注释的丰富性和多样性。我们对现有的视频基准进行了全面调查,涵盖了各种公共视频描述和问答数据集,然后确定了十个独特的视频来源,这些来源为超过 40 个视频语言基准提供了数据。从每个来源中,我们选择具有显著时间动态的视频。为了保持注释的多样性,我们建立了一条能够生成任何长度视频的详细描述的流水线。此外,我们定义了 16 种问题类型,指导 GPT-4o 生成问答对,以训练视频语言模型的感知和推理能力。

视频来源

我们注意到,尽管不同的视频语言数据集侧重于各种视频理解任务,但大多数都来源于十个主要视频来源,这些来源提供了广泛的来自不同网站、拍摄视角和题材的视频。下图展示了这十个我们选择的视频数据集与其他现有视频语言数据集之间的关系。进一步,我们从这些来源中选择了动态视频,详细的选择逻辑在论文中描述。

我们使用的 10 个视频来源与其他现有视频语言数据集的关系。

自动生成视频详细描述

对于选定的视频,我们使用 GPT-4o 系统地描述其内容。我们从每秒一帧的频率开始采样视频。然而,由于 GPT-4o 的输入大小限制,我们无法一次性使用视频中所有采样的帧。因此,我们按顺序描述视频,如下图所示。我们在三个不同级别上创建描述,详细如下,简单来说,第一个层级(leve-1)指的是针对 10s 区间的视频描述,第二个层级(level-2)指的是针对 30s 区间的视频描述,第三个层级(level-3)指的是针对整个视频的描述。

视频描述的生成流程:通过递归方法对三个不同的视频描述层级(leve-1,level-2,level-3)进行描述。`t` 是时间区间在其自身层级的索引,`T` 是最后一个时间区间的索引。(a) 我们根据 level-1 的 `t` 内收集的帧、level-1 的 `t-1` 的描述,以及最近的一次 level-2 描述(如果有的话),来生成 level-1 时间区间 `t` 的视频描述。(b) 我们使用 level-2 的 `t-1` 的描述,以及最近的三个 level-1 描述,生成 level-2 的时间区间 `t` 的描述, © 我们基于最近一次 level-2 的描述和最近的一次 level-1 的描述,生成 level-3 的 `T` 的描述。

自动生成视频问答

除了详细的视频描述,我们的数据集中还包含设计用于复杂交互的各种问答对。这种设置提高了视频理解模型处理现实问题的能力。我们参考公共视频问答基准,将这些问题组织为 16 种特定类别,如图 3 所示。给定详细的视频描述,我们使用 GPT-4o 为每种问题类型最多生成一个问答对。有关问题类型和生成过程的更多细节,请参阅论文。

数据创建中用于生成视频问答对的问题类型。对于每种类型,我们提供其名称和示例问题。

数据集统计

我们从收集到的数据源中精心挑选,以形成一个平衡且全面的集合,最终得到总共 178K 个视频和 1.3M 个指令跟随样本。这包括 178K 个视频描述、960K 个开放式问答和 196K 个多项选择问答。

不同数据集和问题类型(描述、开放式 Q&A、多项选择 Q&A)中的数据分布。

一个用于说明 LLaVA-Video-178K 中视频指令跟随数据的示例。

数据集比较

LLaVA-Video-178K 和其他视频语言数据集的比较。平均 FPS 代表用于提示 GPT-4o/GPT-4V 进行注释的每秒帧数。★:VIDAL, WebVid, ActivityNet。◼:Panda-70M, Pexels, Pixabay, Mixkit, BDD100K, Ego4d。✸:HD-VILA-100M, Kinetics-700M, Ego4D, VidOR, InternVid, YouCook2, ActivityNet, Sth-sthv2, VIDAL, Charades。

我们提供了和其他高质量指令跟随视频语言数据集的比较,LLaVA-Video-178K 展现了如下优势

1. 广泛的动态视频集合:在视频来源方面,虽然 LLaVA-Hound 包含最多的视频,但其 44% 的视频数据来自 [WebVid](https://ak.picdn.net/shutterstock/videos/21179416/preview/stock-footage-aerial-shot-winter-forest.mp4),其中大多数视频是静态的。ShareGPT4Video 的 30% 视频来自 [Pexels](https://www.pexels.com/video/a-bird-is-standing-on-the-beach-27916646/)、[Pixabay](https://pixabay.com/videos/plane-modelling-miniature-lockheed-134519/) 和 [Mixkit](https://mixkit.co/free-stock-video/a-young-woman-clad-in-snugly-black-sportswear-doing-lunges-52112/)。这些视频美学效果很好,但是同时存在视频本身较为静态的弊病。此外,其大部分视频来自 Panda-70M,这些是从较长视频中剪辑的短片,其情节较为简单。相比之下,我们精心选择了动态,情节复杂的视频,这对于开发强大的视频理解模型至关重要。

2. 高帧率:关于采样的帧的频率,LLaVA-Video-178K 考虑了 1 FPS,而其他数据集考虑的 FPS 较低。LLaVA-Hound 从任意长度的视频中均匀采样 10 帧。平均 FPS 为 0.008,这样会错过一些细节。ShareGPT4Video 使用 CLIP 基于帧的独特性选择关键帧。此方法可能也会错过视频中的细微变化,因为 CLIP 的特征无法很好地捕捉细粒度动态。我们的方法以 FPS=1 进行采样,不使用关键帧选择算法,确保详细的时间信息能够在注释中得到高覆盖率的表达。

3. 多样化的任务:所提出的数据集考虑了三种常见的任务类型,包括描述、自由形式和封闭形式问答,而现有的数据集仅考虑了其中的一部分。同时,我们数据集的样本质量和数量更高。

该数据集聚焦动态视频, 高帧率, 和多样化的任务, 让视频多模态大模型洞察每一瞬精彩。

视频表示

基于经典的 SlowFast 视频表示方法,我们开发了 LLaVA-Video_SlowFast,以在视频表示中,平衡帧数和视觉 token 的数量,同时考虑 LLM 的上下文窗口限制和 GPU 内存的限制。

具体来说,我们根据击中率 s 将帧分为两组,每隔 s 帧均匀选出形成 * 慢 * 帧组,剩下的帧被认为是 * 快 * 帧组。需要注意的是,当 s=1 时,只有一组帧,这种情况下 SlowFast 表示就简化为原始的简单表示。对于每组帧,我们使用 PyTorch 函数 avg_pool2d}() 应用不同的池化率。我们对慢帧使用 pXp 池化,对快帧使用 2pX2p 池化。

基准性能

LLaVA-Video 的表现。对于 VideoDC 和 VideoChatGPT 的,我们使用 5 分制度打分,其他评测集结果以准确率打分。所有结果均为 0-shot 准确率。* 表示该评测集的训练集已在我们的训练集中使用。

我们在视频和图像数据的联合数据集上微调了 LLaVA-OneVision (SI)。具体而言,我们添加了来自 LLaVA-Video-178K 数据集和四个公共数据集的视频数据:ActivityNet-QA、NExT-QA、PerceptionTest 和 LLaVA-Hound-255K,此外,我们还使用了来自 LLaVA-OneVision 模型的 110 万个图像语言对。如表格所示,LLaVA-Video 展现了出色的性能。

结论

本研究介绍了高质量的专为视频语言指令任务设计的 LLaVA-Video-178K 数据集。它的特点是在较长的未修剪视频中进行密集的帧采样,覆盖了包括字幕制作、开放式和多项选择问答等多种任务。通过将 LLaVA-Video-178K 数据集与现有的视觉指令数据结合起来,我们开发了一系列新的模型,LLaVA-Video。这些模型改进了视频表现,更有效地利用了 GPU 资源,使我们能够在训练过程中处理更多帧。实验结果证明了所提出的合成数据集的有效性,LLaVA-Video 模型在各种视频基准测试中都表现出色。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值