©PaperWeekly 原创 · 作者 | Chunyuan Li
单位 | 字节跳动
研究方向 | 大语言模型
LLaVA-OneVision(OV)
这是一个开放的多模态大模型,不仅在单图像、多图像和视频任务中表现出色,还通过任务迁移轻松解锁新的涌现能力(Emgerging Capabilities)。
论文链接:
https://arxiv.org/abs/2408.03326
Blog链接:
https://llava-vl.github.io/blog/
▲ 在 LLaVA-OneVision 中的视觉表示策略是为每种场景分配相应的视觉令牌(Visual Tokens)数目。不同场景中 Visual Tokens 的最大数量被设计为相似,以确保平衡的视觉表示,从而支持跨场景能力的迁移。
优异表现
LLaVA-OneVision 提升了开源多模态大模型在单图像、多图像和视频任务中的最新性能!提供 0.5B、7B 和 72B 模型规模,可满足从边缘设备到云服务器的多样化性能与成本需求。
▲ LLaVA-OneVision 与当前最先进的商业模型的性能对比
完全开源
公开发布数据、代码、模型、配方和聊天演示。今天就开始构建你自己的通用助手吧!
代码地址:
https://github.com/LLaVA-VL/LLaVA-NeXT
模型地址:
https://huggingface.co/lmms-lab
数据地址:
https://huggingface.co/datasets/lmms-lab/LLaVA-OneVision-Data
Demo地址:
https://llava-onevision.lmms-lab.com/https://llava-onevision.lmms-lab.com/
3.1 训练方式
▲ LLaVA-OneVision 模型每个训练阶段的详细配置。在课程学习过程的不同阶段中,视觉参数、数据集特征、模型规格和训练超参数的演变。
3.2 训练数据
阶段-1.5:高质量知识(400万)。99.8% 的数据为合成数据。
阶段-2:视觉指令数据(1)单图像(320万);(2)OneVision(160万)。
▲ Single-Image (3.2M) in Stage-2: Visual Instruction Data
▲ OneVision (1.6M) in Stage-2: Visual Instruction Data
新兴涌现能力
我们的设计提供了一种简单而强大的跨场景任务转移方法,通过从图像到视频的任务转移展示了最新的状态下的视频理解能力。以下是一些示例。更多有趣的涌现能力 请查看论文(https://arxiv.org/abs/2408.03326)。
1.生成视频之间差异/编辑指令
▲ 案例:描述两个视频之间的不同。相同的开始,不同的结尾
▲ 案例:描述两个视频之间的不同。类似的背景,不同的前景
▲ 案例:图片到视频生成的编辑指令
▲ 案例:图片和视频综合理解
2. 标记集提示(Set-of-Mark Prompting)
作为一个开源多模态大模型,LLaVA-OV 不仅在图像中展示了出色的标记集能力(首次由 Jianwei Yang 在 https://arxiv.org/abs/2310.11441 中报告),还将这种能力扩展到了视频领域。
▲ 案例:图片中的标记集提示(SoM)。作为开源模型中, LLaVA-OV 涌现出不错的 SoM 能力
▲ 案例:LLaVA-OV 拓展 SoM 到视频中的标记集提示
3. GUI Agent.
LLaVA-OV 能够在多个 GUI 截图上提供操作步骤,帮助用户在手机上打开 TikTok。
▲ 案例:LLaVA-OV 作为 GUI 代理,可以指导用户在手机上打开 TikTok 应用程序。
开发时间线
LLaVA-OV 整合了 LLaVA-NeXT 系列(2024 年 1 月至 6 月)的见解。在 1 月份的原型基础上,我们进行了多项并行探索,并通过 “yolo run” 实施了 OV 模型,利用现有计算资源不断推进。
查看 LLaVA-NeXT 博客系列:https://llava-vl.github.io/blog
▲ 开发时间线: 从LLaVA-NeXT 到 LLaVA-OneVision
▲ LLaVA-NeXT 系列简介
致谢
LLaVA-OV 的构建得益于强大的开源模型 Qwen2(Junyang Lin 及其团队)和 SigLIP(Xiaohua Zhai,Lucas Beyer 及其团队)。
特别感谢出色的合作伙伴:Bo Li,Yuanhan Zhang,Dong Guo, Feng Li, Renrui Zhang, Hao Zhang, Kaichen Zhang, Ziwei Liu, Chunyuan Li
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:hr@paperweekly.site
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·
·
·