Qwen-VL：多功能视觉语言模型，能理解、能定位、能阅读等

总览

题目: Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond
机构：阿里
论文: https://arxiv.org/pdf/2308.12966.pdf
代码: https://github.com/QwenLM/Qwen-VL
任务: 多模态大模型
特点: 支持多语言，多图像，多任务（理解，检测，文本识别）
方法: 三阶段训练（预训练，多任务预训练，指令微调训练），涉及三个组件（语言模型（千问），位置感知的adapter模块，视觉encoder）
前置相关工作：千问，InstructBLIP，LLaVA

摘要

我们推出了 Qwen-VL 系列，这是一组旨在感知和理解文本和图像的大规模视觉语言模型 (LVLM)。这些模型包括 Qwen-VL 和 Qwen-VL-Chat，在图像字幕、问题回答、视觉定位和灵活交互等任务中表现出卓越的性能。评估涵盖了广泛的任务，包括zero-shot字幕、视觉或文档视觉问答和定位。我们证明 Qwen-VL 的性能优于现有 LVLM。我们提供了千问的架构、训练、能力和性能，强调了千问对推进多模式人工智能的贡献。