探索阿里通义千问的 Qwen2-VL：新一代视觉语言模型本地体验实战大全

最新推荐文章于 2025-03-27 20:31:40 发布

程序猿李巡天

最新推荐文章于 2025-03-27 20:31:40 发布

阅读量2.1k

点赞数 9

文章标签：语言模型人工智能自然语言处理 python 算法产品经理 docker

本文链接：https://blog.csdn.net/m0_59235945/article/details/142601435

版权

在人工智能领域，多模态模型的发展一直备受关注。阿里通义千问的 Qwen2-VL 的发布，为多模态技术的发展注入了新的活力。它不仅在图像和视频理解方面取得了显著的突破，还具备强大的视觉智能体能力，能够与各种设备进行交互，为用户带来全新的体验。

一、模型特点

1. 强大的视觉理解能力

任意分辨率图像识别：Qwen2-VL 可以读懂不同分辨率和不同长宽比的图片，无论图像的清晰度或大小如何，都能轻松识别。这得益于其独特的 naive dynamic resolution 支持，能够将任意分辨率的图像映射成动态数量的视觉 token，保证了模型输入和图像信息的一致性，模拟了人类视觉感知的自然方式。
长视频理解：该模型能够理解超过 20 分钟的长视频，这在多模态模型中是一项重大的突破。通过在线流媒体能力，它可以支持高质量的视频问答、对话和内容创作等应用，为视频领域的智能化发展提供了有力的支持。

2. 多语言支持

Qwen2-VL 除了支持英语和中文外，还能理解图像视频中的多种语言文本，包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等，真正做到了面向全球用户，打破了语言的障碍，为多语言环境下的应用提供了便利。

3. 视觉智能体能力

Qwen2-VL 具备强大的视觉智能体能力，可自主操作手机和机器人等设备。借助其复杂的推理和决策能力，能够根据视觉环境和文字指令进行自动操作，实现了人工智能与现实世界的更紧密结合，为智能家居、智能机器人等领域的发展带来了新的机遇。

二、模型架构

1. 模型结构

Qwen2-VL 延续了上一代 Qwen-VL 中 ViT 加 Qwen2 的串联结构，三个不同规模的模型都采用了 600M 规模大小的 ViT，支持图像和视频统一输入。这种结构使得模型能够更好地融合视觉和语言信息，提高对多模态数据的理解能力。

2. 多模态旋转位置编码（M-ROPE）

传统的旋转位置嵌入只能捕捉一维序列的位置信息，而 Qwen2-VL 采用的 M-ROPE 将旋转位置编码分解成时间、空间（高度和宽度）三部分，使大规模语言模型能够同时捕捉和整合一维文本、二维视觉和三维视频的位置信息，赋予了模型强大的多模态处理和推理能力，能够更好地理解和建模复杂的多模态数据。

三、模型性能

1. 基准测试成绩优异

在多个权威测评中，Qwen2-VL 创造了同等规模开源模型的最佳成绩。在 mathvista、docvqa、realworldqa、mtvqa 等基准测试中创下全球领先的表现，在文档理解方面优势尤其明显。与 GPT-4O 和 Claude3.5-Sonnet 等闭源模型相比，Qwen2-VL 在大部分指标上都达到了最优。

2. 高效的计算效率

在保证高性能的同时，Qwen2-VL 还具有较高的计算效率，能够在不同的硬件平台上快速运行，为大规模应用提供了可能。其量化版本的发布，进一步提高了模型的计算效率，降低了部署成本。

四、模型体验

在线体验：https://huggingface.co/spaces/Qwen/Qwen2-VL

五、模型下载

此次 Qwen2 - VL 进行了开源，其中包含两个尺寸的模型，分别是 Qwen2 - VL - 2B - Instruct 以及 Qwen2 - VL - 7B - Instruct，同时还提供了其 GPTQ 和 AWQ 的量化版本。

以下是模型相关链接：

Qwen2 - VL - 2B - Instruct：https://www.modelscope.cn/models/qwen/Qwen2-VL-2B-Instruct

Qwen2 - VL - 7B - Instruct：https://www.modelscope.cn/models/qwen/Qwen2-VL-7B-Instruct

我们推荐使用 ModelScope CLI 进行模型下载，具体命令如下：

modelscope download --model=qwen/Qwen2-VL-7B-Instruct --local_dir ./Qwen2-VL-7B-Instruct

下载完成如下：

六、模型推理

1. 安装依赖

pip install git+https://github.com/huggingface/transformers``   ``pip install qwen-vl-utils

安装如下：

2.模型推理

from transformers import Qwen2VLForConditionalGeneration, AutoTokenizer, AutoProcessor``from qwen_vl_utils import process_vision_info``# default: Load the model on the available device(s)``# model = Qwen2VLForConditionalGeneration.from_pretrained(``# "./Qwen2-VL-7B-Instruct", torch_dtype="auto", device_map="auto"``# )``import torch``   ``model = Qwen2VLForConditionalGeneration.from_pretrained(`  `"./Qwen2-VL-7B-Instruct",`  `torch_dtype=torch.bfloat16,`  `attn_implementation="flash_attention_2",``).to("cuda:0")``   ``# We recommend enabling flash_attention_2 for better acceleration and memory saving, especially in multi-image and video scenarios.``# model = Qwen2VLForConditionalGeneration.from_pretrained(``# "Qwen/Qwen2-VL-7B-Instruct",``# torch_dtype=torch.bfloat16,``# attn_implementation="flash_attention_2",``# device_map="auto",``# )``# default processer``processor = AutoProcessor.from_pretrained("./Qwen2-VL-7B-Instruct")``# The default range for the number of visual tokens per image in the model is 4-16384.``# You can set min_pixels and max_pixels according to your needs, such as a token range of 256-1280, to balance performance and cost.``# min_pixels = 256*28*28``# max_pixels = 1280*28*28``# processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)``   ``messages = [`  `{`    `"role": "user",`    `"content": [`      `{`        `"type": "image",`        `"image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg",`      `},`      `{"type": "text", "text": "Describe this image."},`    `],`  `}``]``# Preparation for inference``text = processor.apply_chat_template(`  `messages, tokenize=False, add_generation_prompt=True``)``image_inputs, video_inputs = process_vision_info(messages)``inputs = processor(`  `text=[text],`  `images=image_inputs,`  `videos=video_inputs,`  `padding=True,`  `return_tensors="pt",``)``inputs = inputs.to("cuda")``# Inference: Generation of the output``generated_ids = model.generate(**inputs, max_new_tokens=128)``generated_ids_trimmed = [`  `out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)``]``output_text = processor.batch_decode(`  `generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False``)``print(output_text)

输出如下：

七、模型微调

1. 安装依赖

swift开源地址：https://github.com/modelscope/swift

在开始微调之前，先准备好环境

git clone https://github.com/modelscope/swift.git``cd swiftpip install -e .[llm]``pip install pyav qwen_vl_utils

2.模型微调

图像描述微调我们使用 coco-en-mini 数据集进行微调，该数据集的任务是对图片内容进行描述。

可以在 modelscope 上找到该数据集：https://modelscope.cn/datasets/modelscope/coco_2014_caption/summary

# 默认会将lora_target_modules设置为llm的所有linear``CUDA_VISIBLE_DEVICES=0,1,2,3 NPROC_PER_NODE=4 swift sft \``--model_type qwen2-vl-7b-instruct \``--model_id_or_path qwen/Qwen2-VL-7B-Instruct \``--sft_type lora \``--dataset coco-en-mini#20000 \``--deepspeed default-zero2

如果要使用自定义数据集，只需按以下方式进行指定：



`--dataset train.jsonl \`

`--val_dataset val.jsonl \`

自定义数据集支持json和jsonl样式，以下是自定义数据集的样例：



`{"query": "<image>55555", "response": "66666", "images": ["image_path"]}``{"query": "eeeee<image>eeeee<image>eeeee", "response": "fffff", "history": [], "images": ["image_path1", "image_path2"]}``{"query": "EEEEE", "response": "FFFFF", "history": [["query1", "response2"`

微调后推理脚本如下：



`CUDA_VISIBLE_DEVICES=0 swift infer \`

`--ckpt_dir output/qwen2-vl-7b-instruct/vx-xxx/checkpoint-xxx \``--load_dataset_config true --merge_lora true`

八、结语

阿里通义千问的 Qwen2-VL 是一款具有强大功能和优异性能的视觉语言模型，它的发布为多模态技术的发展带来了新的机遇。无论是在视觉理解能力、多语言支持还是视觉智能体能力方面，Qwen2-VL 都表现出了卓越的性能，为各种应用场景的智能化发展提供了有力的支持。随着技术的不断发展和应用场景的不断拓展，相信 Qwen2-VL 将在未来发挥更加重要的作用。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述