在线教程 | 打败 GPT-4V？超强开源多模态大模型 LLaVA-OneVision 正式上线！

已于 2024-10-16 19:43:29 修改
阅读量830 收藏 5
点赞数 8
分类专栏： ScienceAI 文章标签： 人工智能 深度学习 语言模型 LMM 图像处理 开源教程
于 2024-10-16 16:58:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HyperAI/article/details/142985987
版权

大语言模型（Large Language Model，简称 LLM）与多模态大模型（Large Multimodal Model，简称 LMM）是人工智能领域的两个核心发展方向。 LLM 主要致力于处理和生成文本数据，而 LMM 则更进一步，它旨在整合和理解包括文本、图片、视频在内的多种数据类型。如今，LLM 已经相对成熟，ChatGPT 等在文字理解方面已经「对答如流」，人们开始将目光转移到多模态数据的理解上，令模型能够「读图、看视频」。

近期，来自字节跳动、南洋理工大学、香港中文大学和香港科技大学的研究人员共同开源了 LLaVA-OneVision 多模态大模型，该模型在单图像、多图像和视频任务中均展现出了卓越的性能。专为多模态大型模型设计的评估框架 LMMs-Eval 中显示，LLaVA-OneVision-72B 在大多数基准上优于 GPT-4V 和 GPT-4o，如下图所示：
在这里插入图片描述

LLaVA-OneVision 在视频基准测试中的性能表现

在这里插入图片描述

LLaVA-OneVision 在多图像基准测试中的性能表现

HyperAI超神经教程版块现已上线「LLaVA-OneVision 多模态全能视觉模型 Demo」， 用户只需一键克隆启动，即可轻松处理多样化的视觉任务，无论是静态图像的分析还是动态视频的解析，它都能够提供高质量的输出。

教程地址：

https://go.hyper.ai/PYD2v

Demo 运行

  1. 登录 hyper.ai，在「教程」页面，选择「LLaVA-OneVision 多模态全能视觉模型 Demo」，点击「在线运行此教程」。
    在这里插入图片描述
    在这里插入图片描述

  2. 页面跳转后，点击右上角「克隆」，将该教程克隆至自己的容器中。
    在这里插入图片描述

  3. 点击右下角「下一步：选择算力」。
    在这里插入图片描述

  4. 页面跳转后，选择「NVIDIA RTX A6000」以及 「PyTorch」镜像，点击「下一步：审核」。新用户使用下方邀请链接注册，可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长！

HyperAI超神经专属邀请链接（直接复制到浏览器打开）：

https://openbayes.com/console/signup?r=Ada0322_QZy7
在这里插入图片描述

  1. 确认无误后，点击「继续执行」，等待分配资源，首次克隆需等待 3 分钟左右的时间。当状态变为「运行中」后，点击「API 地址」边上的跳转箭头，即可跳转至 Demo 页面。请注意，用户需在实名认证后才能使用 API 地址访问功能。因模型过大，容器显示运行中后，需要稍微等待 1 分钟左右的时间再打开 API 地址，否则会显示 BadGateway。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

效果演示

  1. 打开 Demo 界面后，我们先来测试一下它对于图片的理解能力，在红框区域上传 3 张不同情绪的照片，并输入我们的问题「Which image expresses the emotion of fear?」，可以看到它准确的回答了我们的问题，并且提供了图片的描述 (The first image, which shows a woman with her hands on her head and an expression of shock or fear, expresses the emotion of fear)。
    在这里插入图片描述
图 1 为害怕；图 2 为开心；图 3 为伤心

在这里插入图片描述
在这里插入图片描述2. 它对于视频的理解能力也是十分优秀的，上传一段奥运会跑步比赛的精彩合集视频，询问「What is this video about?」，可以看到它能够准确的回答出比赛的项目并表述视频场景和细节，例如运动员的肤色，情绪以及体育场周围的赞助商标。
在这里插入图片描述

回答翻译：

这段视频似乎是田径赛事的剪辑，主要为 100 米短跑。它展示了运动员们在起跑器上准备比赛，其中一位运动员穿着黄色和绿色的服装，这暗示他可能代表牙买加，因为这些是牙买加国旗的颜色。视频捕捉了运动员们准备起跑时的紧张和专注，他们从起跑器上推起的起始动作，以及随后在跑道上的冲刺。运动员们穿着表明他们国家队或赞助商的制服，体育场周围可以看到各种赞助商的标志，如 TOYOTA 和 TDK。视频还包括对运动员脸部的特写，展示了他们的专注和决心。最后的画面显示运动员们全力冲刺，其中一位运动员领先于其他选手，暗示着一场竞争激烈的比赛正在进行

OpenBayes 教程上新 | 打败 GPT-4V？超强开源多模态大模型 LLaVA-OneVision 正式上线！
OpenBayes的博客
10-15 762
来自字节跳动、南洋理工大学、香港中文大学和香港科技大学的研究人员共同开源了 LLaVA-OneVision 多模态大模型，该模型在单图像、多图像和视频任务中均展现出了卓越的性能。专为多模态大型模型设计的评估框架 LMMs-Eval 中显示，LLaVA-OneVision-72B 在大多数基准上优于 GPT-4V 和 GPT-4o，该教程已上线至 OpenBayes ，一键克隆即可启动
字节 LLaVA-OneVision：开源多模态大模型
weixin_51674085的博客
08-12 279
的进化版本，支持单图、多图和视频，比上一代实现了显著的性能提升和更广泛的应用能力，在各种基准测试上接近 GPT4，可以在。
多模态大模型: 盘点&Highlights part1.5——从LLaVA-NeXT到LLaVA-OneVision
baidu_25854831的博客
08-25 966
前言Hi大家好，我叫延捷，是一名计算机视觉算法工程师，也是叉烧的老朋友了。我们计划发布一系列关于多模态大模型的文章，帮助大家快速、精准地了解多模态大模型的前世今生，并且深入各个多模态大模型领域优秀的工作，希望能给大家一个脉络性的盘点，一起学习，共同进步。Hi大家好，我叫延捷，是一名计算机视觉算法工程师，也是叉烧的老朋友了。我们计划发布一系列关于多模态大模型的文章，帮助大家快速、精准地了解多模态大模...
浙大+微信+人大开源 R1-Onevision | 多模态大模型也进入了深度思考的时代
m0_65555479的博客
04-10 837
大语言模型在复杂文本任务中展现了卓越的推理能力。然而，多模态推理，即需要整合视觉和文本信息，仍然是一个重大挑战。现有的视觉-语言模型往往难以有效地分析和推理视觉内容，导致在复杂推理任务上的表现不佳。此外，缺乏全面的基准测试阻碍了对多模态推理能力的准确评估。在本文中，作者介绍了R1-Onevision，这是一个旨在弥合视觉感知与深度推理之间差距的多模态推理模型。为了实现这一目标，作者提出了一种跨模态推理流程，该流程将图像转换为形式化的纹理表示，从而实现基于语言的精确推理。
字节提出 LLaVA-OneVision ：首个突破多模态模型性能瓶颈的开源大型模型 ！
python12345678_的博客
08-20 2056
作者提出了LLaVA-OneVision，这是一系列由LLaVA-NeXT博客系列中的 insights 整合的开源大型多模态模型（LMMs）。作者的实验结果表明，LLaVA-OneVision 是第一个能够同时突破开放 LMMs 三个重要计算机视觉场景（单张图像、多图像和视频场景）性能瓶颈的单模型。值得注意的是，LLaVA-OneVision 的设计允许在不同的模态/场景之间进行强大的迁移学习，从而产生新的新兴能力。尤其是，通过从图像到视频的任务迁移，展示了强大的视频理解和跨场景能力。
多模态大模型：LLaVA-OneVision 轻松实现视觉任务迁移 | 单图、多图和视频理解
python1222_的博客
08-23 2117
模型架构图 1：LLaVA-OneVision 架构。左图：当前模型实例化;右图：LLaVA架构的一般形式，但进行了扩展，以支持更多的视觉信号。模型架构继承了 LLaVA 系列的简约设计，其主要目标是：(i) 有效利用预训练的 LLM 和视觉模型的能力，以及 (ii) 促进在数据和模型方面的强大扩展行为。网络架构如图 1 所示。LLM (大型语言模型)。选择 Qwen-2 作为 LLM fϕ(·)，参数化为 ϕ，因为它提供了各种模型尺寸，并在公开可用的检查点中表现出强大的语言能力。视觉编码器。
论文阅读：LLaVA-OneVision: Easy Visual Task Transfer
a486259的博客
10-07 2205
LLaVA-OneVision是一个开放的大型多模态模型（LMMs），它是通过整合在LLaVA-NeXT博客系列中的数据、模型和可视化表示的见解而开发的。实验结果表明，LLaVA-OneVision是第一个能够在三个重要的计算机视觉场景：单图像、多图像和视频场景的单一模型。论文的核心是分享了一个OneVision的架构设计，以统一对单图、多图及视频任务的训练框架（token编码规则），将单图训练的能力迁移到多图与视频中。同时分享了一种动态分辨率设计规则，以提供更好的视觉表示（兼容图像视频）；最后介绍了训练数
LLaVA-OneVision: Easy Visual Task Transfer
读书郎
08-20 1080
新的训练策略，先在但图上进行训练，在扩展到多图和视频。并在最后发现了处理新任务的能力。
R1-Onevision：结合形式语言和基于规则的强化学习打造的具有推理能力的多模态开源大型语言模型
AI人工智能的学习之路
03-02 939
R1-Onevision，是一个多功能的多模态推理大模型，旨在处理复杂的视觉推理任务，能无缝整合视觉和文本数据，精准解释多模态信息，在数学、科学、深度图像理解和逻辑推理等领域表现出色。它填补了 Qwen-VL 的多模态能力与 DeepSeek-R1 的深度推理能力之间的差距，创建了一个超越 GPT-4o 能力的先进多模态推理模型。通过构建高质量的R1-Onevision数据集，并结合形式语言和基于规则的强化学习，R1-Onevision在多个多模态推理基准测试中超越了现有模型。
开源项目 | 多模态大模型VILA：强大的视频理解和多图理解能力
强化学习曾小健
10-22 1160
VILA是一种视觉语言模型 (VLM)，使用大规模交错图像文本数据进行预训练，可实现视频理解和多图像理解功能。VILA 可通过AWQ4 位量化和TinyChat框架部署在边缘端。我们发现：（1）图文对还不够，图文交错是必要的；（2）在交错的图文预训练期间解冻LLM可以实现上下文学习；（3）重新混合纯文本指令数据对于提升VLM和纯文本性能至关重要；（4）令牌压缩扩展了#video 帧。VILA视频推理、情境学习、视觉思维链和更好的世界知识。
不到4B的多模态大语言模型Mini-InternVL：能快速迁移到自动驾驶的口袋多模态模型
自动驾驶实战
10-25 1113
多模态大语言模型（MLLMs）在视觉-语言任务中表现出色，涵盖了广泛的领域。然而，大规模模型和高计算成本给在消费级GPU或边缘设备上的训练和部署带来了巨大挑战，从而阻碍了其广泛应用。为了解决这个问题，我们推出了Mini-InternVL，一系列参数在1B到4B之间的多模态大语言模型，其性能可达90%，但参数量仅为5%。这种显著的效率和效果提升，使我们的模型在各种实际场景中更加易于使用和应用。
【再读】R1-Onevision通过跨模态形式化为复杂多模态推理任务提供了系统性解决方案
AI人工智能的学习之路
03-17 1549
R1-Onevision：跨模态形式化驱动的多模态推理技术突破,R1-Onevision通过跨模态形式化、双阶段训练和教育级基准测试，为多模态推理树立了新标杆。其技术创新不仅提升了模型在复杂任务中的表现，更重要的是为行业提供了一种可解释、可迁移的多模态处理范式。随着形式化方法的不断完善和硬件性能的持续提升，我们有理由期待多模态AI在教育、医疗、工业等领域实现更广泛的落地应用。 R1-Onevision：结合形式语言和基于规则的强化学习打造的具有推理能力的多模态开源大型语言模型我们针对其报告进行了一个总结
自然语言处理实战：用CRF打造高精度命名实体识别系统
Loving_enjoy的博客
05-03 831
无论是想快速搭建一个可用的NER系统，还是希望深入理解概率图模型的精髓，CRF都是值得放入工具箱的利器。'prev_is_b-geo': prev_tag == 'B-GEO' # 假设prev_tag是前一个标签。('参观天安门', ['O', 'B-POI', 'I-POI', 'I-POI'])" —— 人工智能先驱吴恩达。- **BiLSTM-CRF**：经典组合，在CoNLL-2003达到91%的F1值。('北京市', ['B-GEO', 'I-GEO', 'I-GEO']),
解锁DeepSeek模型微调：从小白到高手的进阶之路
邓邓子的博客
05-05 748
本文围绕 DeepSeek 模型微调展开系统阐述。首先介绍 DeepSeek 模型在 AI 领域的重要地位及其优势，点明微调对提升模型性能的关键意义。接着深入解析微调原理，涵盖迁移学习基础与参数更新机制。随后详细讲解数据准备、模型选择加载、微调训练实战等核心步骤，包括数据收集标注预处理、参数设置与策略选择。还通过实战案例展示微调全流程，并基于评估结果提出优化改进方法。最后对 DeepSeek 模型微调进行总结，展望其未来发展方向，为希望掌握 DeepSeek 模型微调技术的读者提供全面指导。
远光软件发布九天 AI 应用开发平台，加速企业研发效能跃升
YG_JT的博客
04-30 790
4月25日，远光软件在“2025珠海软件产业年会暨AI技术赋能行业发展交流会”上以虚拟直播方式发布了远光九天AI应用开发平台。
存算一体架构下的新型AI加速范式：从Samsung HBM-PIM看近内存计算趋势
高效做AI，就上Aladdin! 同学们用得起的H卡算力平台。
05-01 1427
存算一体不是简单的技术改良，而是对计算本质的重新思考。当HBM-PIM将能效边界推向10 TFLOPS/W，我们正站在架构革命的临界点。这场变革的终极目标，是让计算回归数据本源——‌在比特诞生的地方处理比特‌。本文实验数据基于Samsung Aquabolt-XL HBM-PIM实测，更多技术细节请参考ISSCC 2023论文《A 1ynm 16Gb 4.8TFLOPS/W HBM-PIM with Bank-Level Programmable AI Engines》。
我让AI接管了浏览器！Browser Tools MCP教程：自动Debug+截屏+SEO分析
seeyouintokyo的博客
05-03 1096
小白友好，且效率翻倍
英伟达语音识别模型论文速读：Token-and-Duration Transducer（TDT）架构
最新发布
weixin_52582710的博客
05-05 560
论文提出的 TDT 模型通过在传统 Transducer 模型中加入显式的持续时间建模，在语音识别、语音翻译和口语理解等多个序列任务中均优于传统 Transducer 模型。TDT 模型不仅在准确率上表现相当或更好，而且在推理速度上显著提升，最高可达 2.82 倍加速。此外，TDT 模型在抗噪声和处理重复 token 方面也展现出更强的鲁棒性。未来的工作将致力于进一步提高 TDT 模型的计算效率和准确性，并开发高效的 TDT 模型束搜索算法。
操作系统级竞争开启：AI Agent 能否成为人形机器人爆发的奇点？
望获实时Linux系统
04-30 1278
本文深入探讨了在人形机器人产业从“机械执行”向“自主决策”跃迁的背景下，实时操作系统（RTOS）与AI Agent融合对突破物理世界响应极限的关键作用，重点分析了望获实时Linux等国产RTOS的技术优势及其在不同领域的应用前景，同时客观阐述了产业面临的挑战与机遇，旨在为相关领域的学术研究和产业发展提供参考与借鉴。
llava onevision
01-16
### LLaVA-OneVision IT项目概述 LLaVA-OneVision 是一种新型的开源大型语言模型（LMM），专注于提升视觉任务传输的能力，在单图像、多图像和视频场景中表现卓越[^3]。此模型不仅继承了 LLAVA-NeXT 系列的技术优势，而且通过更大规模的数据集和更先进的算法进行了优化训练。 #### 技术文档要点 技术文档详细介绍了如何利用大规模数据集和强化学习方法来提高模型的表现力： - **跨模态迁移**：即使只经过图像训练，LLaVA-OneVision 展现出了强大的零样本视频任务处理能力，这主要归功于 AnyRes 设计的支持任意长度输入的功能[^4]。 - **性能对比**：在某些选定的标准测试集中，该模型凭借其高效的扩展策略达到了与 GPT-4V 相当的成绩，证明了成本效益极高的发展路径的有效性。 - **消融研究**：通过对不同因素如架构选择、视觉表征方式及训练技巧的研究，揭示了哪些要素对于构建高性能视觉理解系统最为重要。 ```python import torch from transformers import AutoModelForVision2Seq, AutoFeatureExtractor def load_model(model_name="llava-onevision"): extractor = AutoFeatureExtractor.from_pretrained(model_name) model = AutoModelForVision2Seq.from_pretrained(model_name) return model, extractor model, feature_extractor = load_model() print("Model loaded successfully.") ``` #### 开源库特性 GitHub 上托管的 LLaVA-OneVision 仓库提供了完整的实现细节和技术支持材料，方便开发者快速上手并贡献代码。以下是该项目的一些亮点功能： - 支持多种类型的媒体文件作为输入； - 提供预训练权重以便即时部署应用； - 文档详尽，附带教程帮助新手入门； - 社区活跃度高，定期更新维护版本；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值