超越GPT-4o！阿里发布最强开源多模态模型Qwen2-VL，支持实时音视频对话

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

新的最强开源多模态大模型来了！

阿里Qwen2大模型家族新添多模态模型Qwen2-VL，在图像和长视频理解任务上双双取得了SOTA。

在具体的子类任务中，Qwen2-VL在大部分的指标上都达到了最优，甚至超过 GPT-4o等闭源模型。

在多模态能力的加持下，Qwen2-VL可以实时读取摄像头或电脑屏幕，进行文字形式的视频对话。

甚至还能作为Agent与环境进行交互，根据任务目标自主操控手机等设备。

此次发布的Qwen2共有2B、7B、72B三个版本，其中2B和7B版本已可下载并免费商用（Apache 2.0），72B则通过API提供。

目前开源代码已集成到Hugging Face Transformers、vLLM等第三方框架中。

还有不少网友都在狂cue一些知名大模型推理平台，如Groq、Ollama，希望能够早日提供支持。

下面就来一睹Qwen2-VL的表现！

会操作机械臂的多模态大模型

利用强大的多模态能力，Qwen2-VL能够操纵机械臂，进行物体的拿取、放置等操作。

还可以化身扑克牌玩家，根据识别到的场上信息和提示词描述进行“24点”游戏的决策，并且取得了胜利。

还有开头所展示的，Qwen2-VL可以根据识别到的屏幕内容，结合用户需求自行操作手机在网络上进行信息检索。

当然在这些体现工具调用和Agent交互能力的复杂任务背后，基础能力也是不能落下。

比如图像识别，在物体类的识别当中，Qwen2-VL可以准确地认出花的品种。

另一类识别场景是文字，Qwen2-VL支持多种语言的文本提取。

甚至把16种语言混合到一张图中，Qwen2-VL不仅能判断各自的语种，也能一口气提取出全部文本。

手写字体和复杂的数学公式也能识别，并且上下标这种微小细节处理得非常到位。

Qwen2-VL还支持多模态推理，代码和数学（包括几何）类问题，只需要传张图片就能解决。

视频方面，Qwen2-VL最长可以对20分钟以上的视频进行内容分析，既支持总结也能对细节进行提问。

不过目前还只能分析画面，暂不支持对声音的处理。

同时也支持实时视频文字对话，除了开头展示的基于摄像头的对话外，也可以读取电脑屏幕，作为对话的内容。

总之，在这些任务的背后，蕴含着Qwen2-VL不凡的综合实力。

多模态实力超GPT-4o

为了了解Qwen2-VL在各种任务上的综合表现，千问团队一共从从六个方面对其视觉能力进行了评估。

具体包括了综合类大学试题、数学试题、文档表格理解、通用场景下的问答、视频理解以及Agent能力这六种类型。

整体来看，Qwen2-72B的大部分的指标上都达到了最优，甚至超过了GPT-4o和Claude3.5-Sonnet，特别是在文档理解方面优势明显。

另外在多语言测试中，MTVQA也在9种语言中的8种全面超越了GPT-4o、Claude3-Opus和Gemini Ultra这些先进闭源模型，平均成绩也是最高分。

7B版本同样支持图像、多图、视频的输入，同时也达到了同等规模模型的SOTA水准。

最小的2B版本则主要为移动端设计，但麻雀虽小，却具备完整图像视频多语言的理解能力，特别在视频文档和通用场景问答相较同规模模型优势明显。

整体上，Qwen2-VL延续了其上一代Qwen-VL中ViT加Qwen（2）的串联结构，在三个不同规模的模型上，Qwen2-VL都采用了600M规模大小的ViT，并且支持图像和视频统一输入。

为了让模型更清楚地感知视觉信息和理解视频，Qwen2-VL新增了对原生动态分辨率的全面支持。

与上一代模型相比，Qwen2-VL能够处理任意分辨率的图像输入，不同大小图片被转换为动态数量的tokens，最少只需要4个。

这种设计不仅确保了模型输入与图像原始信息之间的一致性，也模拟了人类视觉感知的自然方式，让模型在图像处理任务上更加灵活高效。

Qwen2-VL在架构上的另一项创新，是多模态旋转位置嵌入（M-ROPE）。

传统的旋转位置嵌入只能捕捉一维序列的位置信息，而M-ROPE通过将原始旋转嵌入分解为代表时间、高度和宽度的三个部分。

这使得大规模语言模型能够同时捕捉和整合一维文本序列、二维视觉图像以及三维视频的位置信息。

这一创新有助于提升模型的多模态处理和推理能力，能够更好地理解和建模复杂的多模态数据。

DEMO：
https://huggingface.co/spaces/Qwen/Qwen2-VL
项目主页：
https://qwenlm.github.io/blog/qwen2-vl/
GitHub：
https://github.com/QwenLM/Qwen2-VL