Qwen2-VL
1.节能省流
通义千问实验室在8.30日发布了最新一代的视觉语言模型:Qwen2-VL ,开源了 Qwen2-VL-2B 和 Qwen2-VL-7B,并发布了 Qwen2-VL-72B 的 API,开源代码已集成到 Hugging Face Transformers、vLLM 和其他第三方框架中。Qwen2-VL 基于 Qwen2 打造,相比 Qwen-VL,它具有以下特点:
1.读懂不同分辨率和不同长宽比的图片
Qwen2-VL 在 MathVista、DocVQA、RealWorldQA、MTVQA 等视觉理解基准测试中取得了全球领先的表现。
2.理解20分钟以上的长视频
Qwen2-VL 可理解长视频,并将其用于基于视频的问答、对话和内容创作等应用中。
3.能够操作手机和机器人的视觉智能体
借助复杂推理和决策的能力,Qwen2-VL 可集成到手机、机器人等设备,根据视觉环境和文字指令进行自动操作。
4.多语言支持
为了服务全球用户,除英语和中文外,Qwen2-VL 现在还支持理解图像中的多语言文本,包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。
2.模型性能
六个方面来评估模型的视觉能力:综合的大学题目、数学能力、文档表格多语言文字图像的理解、通用场景下的问答、视频理解、Agent 能力。
整体来看, 72B 规模的模型在大部分的指标上都达到了最优,甚至超过了 GPT-4o 和 Claude3.5-Sonnet 等闭源模型,特别是在文档理解方面优势明显,仅在对综合的大学题目上和 GPT-4o 还有差距。同时 Qwen2-VL 72B 也刷新了开源多模态模型的最好表现。
在 7B 规模上,同样支持图像、多图、视频的输入,在更经济的规模上也实现了有竞争力的性能表现,特别是像 DocVQA 之类的文档理解能力和 MTVQA 考察的图片中多语言文字理解能力都处于 SOTA 水平。
除此之外,还提供了一个更小的 2B 规模的模型,以此支持移动端的丰富应用。它具备完整图像视频多语言的理解能力,性能强劲,特别在视频文档和通用场景问答相较同规模模型优势明显。
3.干说不行,拿出来溜溜
图像信息提取与组织能力展示
User:将图中的每日的最高气温和最低气温整理成表格。
Qwen2-VL:以下是图中每日的最高气温和最低气温整理成的表格:
希望这对你有帮助!
视频理解与实时聊天方面能力我就不展示了!
说说缺点
仍然存在一些局限性,比如无法从视频中提取音频、知识仅更新至 2023 年 6 月等。
4.说说模型架构方面
延续了 Qwen-VL 中 ViT 加 Qwen2 的串联结构,在三个不同尺度的模型上,我们都采用 600M 规模大小的 ViT,并且支持图像和视频统一输入.
重大改进
1.Qwen2-VL 在架构上的一大改进是实现了对原生动态分辨率的全面支持
与上一代模型相比,Qwen2-VL 能够处理任意分辨率的图像输入,不同大小图片被转换为动态数量的 tokens,最小只占 4 个 tokens。这种设计不仅确保了模型输入与图像原始信息之间的高度一致性,更是模拟了人类视觉感知的自然方式,赋予模型处理任意尺寸图像的强大能力,使其在图像处理领域展现出更加灵活和高效的表现。
2.Qwen2-VL 在架构上的另一重要创新则是多模态旋转位置嵌入(M-ROPE)
传统的旋转位置嵌入只能捕捉一维序列的位置信息,而 M-ROPE 通过将原始旋转嵌入分解为代表时间、高度和宽度的三个部分,使得大规模语言模型能够同时捕捉和整合一维文本序列、二维视觉图像以及三维视频的位置信息。这一创新赋予了语言模型强大的多模态处理和推理能力,能够更好地理解和建模复杂的多模态数据。