突破视觉理解极限，Qwen2-VL重磅登场

已于 2024-09-04 21:19:46 修改
阅读量1k 收藏 17
点赞数 19
文章标签： 大模型 人工智能
于 2024-09-04 21:06:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/OpenCSG/article/details/141903410
版权

前沿科技速递🚀

经过近一年的持续努力，Qwen团队宣布推出最新一代的视觉语言模型：Qwen2-VL。基于Qwen2的基础，Qwen2-VL在多个方面实现了显著提升，相较于前代模型Qwen-VL，它具备以下核心优势：

1. 适应不同分辨率与长宽比的图片：Qwen2-VL在MathVista、DocVQA、RealWorldQA、MTVQA等多个视觉理解基准测试中展现了全球领先的表现。无论是高分辨率还是非标准长宽比的图片，Qwen2-VL都能轻松读懂。

2. 支持长达20分钟以上的视频理解：Qwen2-VL不仅可以理解长视频，还能应用于基于视频的问答、对话和内容创作等多种场景，使其在处理复杂多媒体内容时表现卓越。

3. 操作智能设备：Qwen2-VL的复杂推理与决策能力使其能够作为手机或机器人等设备的视觉智能体，根据视觉环境和文字指令进行自动化操作。

4. 多语言支持：为了更好地服务全球用户，Qwen2-VL不仅支持英语和中文，还新增了对大多数欧洲语言、日语、韩语、阿拉伯语、越南语等多语言文本的理解能力。

来源：传神社区

01 模型开源与性能表现

Qwen团队以Apache 2.0协议开源了Qwen2-VL-2B和Qwen2-VL-7B，同时发布了Qwen2-VL-72B的API。开源代码已集成到Hugging Face Transformers、vLLM和其他第三方框架中，为开发者提供了便捷的使用体验。

在六个关键指标上，Qwen2-VL展现了卓越的视觉能力，包括综合的大学题目、数学能力、文档表格多语言文字图像的理解、通用场景下的问答、视频理解及智能代理功能。尤其是在文档理解方面，Qwen2-VL-72B表现尤为出色，超过了GPT-4o和Claude3.5-Sonnet等闭源模型。尽管在综合大学题目方面还有一定差距，Qwen2-VL-72B依然刷新了开源多模态模型的最佳记录。

图片

在 7B 规模上，同样支持图像、多图、视频的输入，在更经济的规模上也实现了有竞争力的性能表现，特别是像 DocVQA 之类的文档理解能力和 MTVQA 考察的图片中多语言文字理解能力都处于 SOTA 水平。

图片

除此之外，Qwen团队还提供了一个更小的 2B 规模的模型，以此支持移动端的丰富应用。它具备完整图像视频多语言的理解能力，性能强劲，特别在视频文档和通用场景问答相较同规模模型优势明显。

图片

02 模型架构的创新

Qwen2-VL延续了Qwen-VL中的ViT加Qwen2的串联结构，并在架构上进行了重要升级：

1. 原生动态分辨率支持Qwen2-VL能够处理任意分辨率的图像输入，并将不同大小的图片转换为动态数量的tokens。这种设计确保了输入与图像原始信息之间的高度一致性，模拟了人类视觉感知的自然方式。

图片

2. 多模态旋转位置嵌入（M-ROPE）Qwen2-VL通过多模态旋转位置嵌入，将原始旋转嵌入分解为时间、高度和宽度三个部分，使其能够同时捕捉和整合一维文本序列、二维视觉图像及三维视频的位置信息，从而更好地处理和推理复杂的多模态数据。

图片

03 典型示例

1. 更细致的识别与理解Qwen2-VL不仅能识别植物和地标，还能理解场景中多个对象之间的关系。特别是在手写文字及多语言图像识别方面，Qwen2-VL在全球范围内更为易用。

Example: Plant identification

图片

2. 视觉推理与现实问题解决Qwen2-VL的数学与编程能力得到了显著增强。通过分析图片，Qwen2-VL能够解读复杂的数学问题，进行图表分析，甚至极端长宽比的图片也能正确解析。它还可以从真实世界的图像和图表中提取信息，使其成为日常生活中的智能助手。

Example: Math

图片

3. 视频理解与实时聊天Qwen2-VL扩展了视频内容分析的能力，能够总结视频要点、即时回答相关问题，并维持连贯的对话，仿佛一位随时待命的个人助手，为用户提供更加直观且即时的帮助。

Example: Video Understanding

图片

space_woaudio

图片

4. Visual Agent 能力Qwen2-VL展示了作为视觉代理的潜力，初步具备了利用视觉能力进行工具调用与交互的功能。通过函数调用，Qwen2-VL能够实时检索数据，如航班状态、天气预报和包裹追踪等，将视觉解读与功能执行有机结合，成为信息管理和决策的有力工具。

  • Function Calling:模型支持函数调用，使其能够利用外部工具进行实时数据检索——无论是航班状态、天气预报还是包裹追踪——通过解读视觉线索。视觉解读与功能执行的整合提升了模型的实用性，使其成为信息管理和决策的有力工具。

  • Visual Interactions: 视觉交互对多模态大模型是更高的感知能力要求。我们初步做了一些简单的探索，让模型能够更像人一样和环境交互。使得 Qwen2-VL 不仅作为观察者，而是能有代替人做更多的执行者的可能。

Operate a Mobile Phone

04 模型下载

传神社区：

Qwen2-VL-2B-Instruct：

https://opencsg.com/models/Qwen/Qwen2-VL-2B-Instruct

Qwen2-VL-7B-Instruct：

https://opencsg.com/models/Qwen/Qwen2-VL-7B-Instruct

欢迎加入传神社区

•贡献代码，与我们一同共建更好的OpenCSG

•Github主页

欢迎🌟：https://github.com/OpenCSGs

•Huggingface主页

欢迎下载:https://huggingface.co/opencsg

•加入我们的用户交流群，分享经验

OpenCSG
关注
VLM 系列——Qwen2 VL——论文解读——前瞻（源码解读）
TigerZ*的博客
09-10 363
Qwen2 VL 是一系列多模态大型语言模型（MLLM），其中包括2B、7B、72B三个版本，整体采用视觉编码器+LLM形式（可以认为没有任何投射层）。该模型能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、 多图问对话、视频理解对话 、json格式、多语言、agent、高清图理解。Qwen2-VL-2B可以轻松地在现代手机上本地进行推理。比较创新的是图像缩放方式+3D LLM位置编码。
本地运行 Qwen2-VL
engchina的专栏
09-04 962
本地运行 Qwen2-VL
MLLM（二）| 阿里开源视频理解大模型：Qwen2-VL
wshzd的博客
09-05 1737
从六个关键维度评估模型的视觉能力：复杂的大学水平问题解决、数学能力、文档和表格理解、多语言文本图像理解、一般场景问答、视频理解和基于代理的交互。此功能为更直观和身临其境的交互铺平了道路，Qwen2-VL 不仅充当观察者，而且是我们视觉体验的积极参与者。此外，更小的 2B 模型针对潜在的移动部署进行了优化。Qwen2-VL 现在拥有改进的对象识别功能，超越了植物和地标，可以理解场景中多个对象之间的复杂关系。在 7B 模型上，保留了对图像、多图像和视频输入的支持，以更具成本效益的模型大小提供有竞争力的性能。
阿里最新发布Qwen2-VL：看视频的AI到底能干些什么惊人的事？
holdcloud的博客
08-30 631
阿里云最新推出的Qwen2-VL模型，就像是给AI装上了一双火眼金睛，不仅能看懂图片，还能理解长达20分钟的视频！从官方给出的数据来看Qwen2-VL的参数还能比肩GPT-4o，那么Qwen2-VL到底强在哪些地方呢？本文继续带你了解。
Qwen2-VL笔记
最新发布
qq_37261783的博客
09-27 848
qwen2-vl中说：“We have retained the Qwen-VL framework, which integrates vision encoders and language models.”，但是代码上qwen2-vl和qwen-vl的模型结构并不一致，除了动态分辨率和旋转位置编码外，连接部分用的是一层mlp（类似于llava的结构），而不是qwen-vl的类q-former结构。文章的消融实验的结果感觉并不支持文章的创新点，动态分辨率和多模态旋转位置编码并没有很大的性能提升。
Qwen2-VL环境搭建&推理测试
zzq1989_的专栏
09-18 1040
与上一代模型 Qwen-VL 不同，Qwen2-VL 可以处理任意分辨率的图像，而无需将其分割成块，从而确保模型输入与图像固有信息之间的一致性。这种方法更接近地模仿人类的视觉感知，使模型能够处理任何清晰度或大小的图像。通过将 original rotary embedding 分解为代表时间和空间（高度和宽度）信息的三个部分，M-ROPE 使 LLM 能够同时捕获和集成 1D 文本、2D 视觉和 3D 视频位置信息。），这么小的模型，显然我的机器是跑的起来的，OK，那就让我们开始吧。
超越GPT-4o！阿里发布最强开源多模态模型Qwen2-VL，支持实时视频对话
量子位
08-30 7262
克雷西 发自 凹非寺量子位 | 公众号 QbitAI新的最强开源多模态大模型来了！阿里Qwen2大模型家族新添多模态模型Qwen2-VL，在图像和长视频理解任务上双双取得了SOTA。在具体的子类任务中，Qwen2-VL在大部分的指标上都达到了最优，甚至超过 GPT-4o等闭源模型。在多模态能力的加持下，Qwen2-VL可以实时读取摄像头或电脑屏幕，进行文字形式的视频对话。甚至还能作为Agent与环...
Qwen2-VL全面解读！阿里开源多模态视觉语言模型，多项超越GPT4o与Claude 3.5-Sonnet
AIGCer的博客
09-24 1706
Qwen2-VL系列旨在重新定义传统的固定分辨率视觉处理方法，解决了在处理不同分辨率图像时的效率和准确性问题。
【多模态大模型】Qwen2-VL基本原理和推理部署实战
weixin_43799388的博客
09-21 1197
具体实现代码地址：https://github.com/huggingface/transformers/blob/main/src/transformers/models/qwen2_vl/modeling_qwen2_vl.py。具体实现代码地址：https://github.com/QwenLM/Qwen2-VL/blob/main/qwen-vl-utils/src/qwen_vl_utils/vision_process.py。Qwen2 VL的一个关键架构改进是引入了原生动态分辨率支持。
国产开源最强？Qwen2-VL强势发布，效果实测！
zero的博客
09-01 1606
大家好，趁着周末赶紧看下本周最新发布的多模态大语言模型Qwen2-VL。因为Qwen2比Qwen提升很大，而且Qwen2-VL还将开源大参数量的模型Qwen2比Qwen强在哪里：https://www.zhihu.com/question/658307301Qwen2系列模型大幅提升了代码、数学、推理、指令遵循、多语言理解等能力，性能不仅超过美国最强的开源模型 Llama3-70B，也超过文心 4...
实战千问2大模型第三天——Qwen2-VL-7B（多模态）视频检测和批处理代码测试
qq_34717531的博客
09-11 992
阿里通义千问开源新一代视觉语言模型Qwen2-VL。其中，Qwen2-VL-72B在大部分指标上都达到了最优，刷新了开源多模态模型的最好表现，甚至超过了GPT-4o和Claude 3.5 Sonnet等闭源模型。1、能读懂不同分辨率和不同长宽比的图片：Qwen2-VL在多个视觉理解基准测试中取得了全球领先的表现，其中包括但不限于考察数学推理能力的MathVista、考察文档图像理解能力的DocVQA、考察真实世界空间理解能力的RealWorldQA、考察多语言理解能力的MTVQA。
LLM - 使用 vLLM 部署 Qwen2-VL 多模态大模型 (配置 FlashAttention) 教程
Mystra
09-26 1287
vLLM 用于 大语言模型(LLM) 的推理和服务，具有多项优化技术，包括先进的服务吞吐量、高效的内存管理、连续批处理请求、优化 CUDA 内核以及支持量化技术，如GPTQ、AWQ等。FlashAttention 是先进的注意力机制优化工具，通过减少内存访问和优化计算过程，显著提高大型语言模型的推理速度。
实战千问2大模型第二天——Qwen2-VL-7B（多模态）的部署和测试
qq_34717531的博客
09-10 1362
2024年 8 月 30 日，通义千问团队今天对 Qwen-VL（视觉语言、Vision Language）模型进行更新，推出 Qwen2-VL。Qwen2-VL 的一项关键架构改进是实现了与上一代模型 Qwen-VL 不同，，从而确保模型输入与图像固有信息之间的一致性。这种方法更接近地模仿人类的视觉感知，使模型能够处理任何清晰度或大小的图像。
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-17 8526
掌握Qwen2-VL提升职业发展增添强大的竞争力
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-Lora-V100（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-26 5162
使用LLaMA-Factory高效微调qwen2-vl-7b-instruct
【阿里千问最新多模态模型】Qwen2-VL：让世界看得更清晰
weixin_41446370的博客
09-09 1369
经过一年的不懈努力，今天我们非常高兴地发布了 Qwen2-VL！Qwen2-VL 是 Qwen 模型家族中基于 Qwen2 的视觉语言模型的最新版本。我们以 Apache 2.0 许可对 Qwen2-VL-2B 和 Qwen2-VL-7B 进行了开源，并发布了 Qwen2-VL-72B 的 API！该开源软件已集成到 Hugging Face Transformers、vLLM 和其他第三方框架中。希望您喜欢！
阿里巴巴发布 Qwen2-VL 人工智能模型，具备先进的视频分析和推理能力
weixin_41446370的博客
09-01 893
中国阿里巴巴集团的云计算部门阿里云周四宣布推出一款名为 Qwen2-VL 的新型人工智能模型，该模型具有高级视觉理解能力和多语言对话能力。该公司在 Qwen-VL 人工智能模型的基础上，历时一年研发出了新模型，并表示它可以实现对长度超过 20 分钟的高质量视频的理解。据阿里巴巴称，它可以总结视频内容、回答相关问题、实时保持连续的对话流以及即时聊天支持。因此，它可以充当个人助理，直接使用从视频内容中提取的信息。
[240903] Qwen2-VL: 更清晰地看世界 | Elasticsearch 再次拥抱开源！
edwinjhlee的博客
09-03 930
- Qwen2-VL: 更清晰地看世界 - Elasticsearch 再次拥抱开源！
qwen2 -7b微调训练
06-19
对不起，关于"qwen2-7b微调训练"的信息我不太了解，因为我的知识库主要基于开源的CSDN博客和文档，而不是特定的模型训练细节。不过，我可以为你解释一下一般模型微调（fine-tuning）的概念。 微调（Fine-tuning）通常是指在一个预训练模型（如Qwen等大型语言模型）的基础上，针对特定任务或领域调整模型参数的过程。比如，qwen2-7b可能是一个大型的语言模型，"2-7b"代表模型的参数量（参数数量为2亿到7亿），微调意味着将这个大模型应用于新的具体场景，比如文本生成、问答或翻译任务时，会冻结大部分底层参数，只调整部分顶层的权重以适应新任务的数据分布和特性。 如果你有关于模型微调的一般性问题，例如： 1. 如何选择微调的模型部分？ 2. 微调过程中如何处理过拟合问题？ 3. 在哪些情况下应该进行微调，而不是从头训练？ 请告诉我，我会尽力提供帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值