Qwen 2.5 VL 多种推理方案

最新推荐文章于 2025-05-12 11:22:44 发布
最新推荐文章于 2025-05-12 11:22:44 发布
阅读量458 收藏 1
点赞数 3
分类专栏： 大模型 YOLOv5 目标检测 文章标签： Qwen qwen
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flyfish1986/article/details/147240976
版权

Qwen 2.5 VL 多种推理方案

flyfish

单图推理

from modelscope import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info
import torch

model_path = "/media/model/Qwen/Qwen25-VL-7B-Instruct/"

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
    device_map="auto",
)


processor = AutoProcessor.from_pretrained(model_path)


messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "output_frames/frame_0000.jpg",
            },
            {"type": "text", "text": "描述图像"},
        ],
    }
]


text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

多图推理

from modelscope import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info
import torch

# 默认：加载模型到可用设备上
# model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
#     "Qwen/Qwen2.5-VL-7B-Instruct", torch_dtype="auto", device_map="auto"
# )

# 指定本地模型路径
model_path = "/media/model/Qwen/Qwen25-VL-7B-Instruct/"
# 推荐启用 flash_attention_2 以获得更好的加速和内存节省，特别是在多图像和视频场景中。
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
    device_map="auto",
)

# 默认处理器
processor = AutoProcessor.from_pretrained(model_path)

# 模型中每个图像的视觉标记数量范围默认为 4-16384。
# 根据需要设置 min_pixels 和 max_pixels，例如令牌范围为 256-1280，以平衡性能和成本。
# min_pixels = 256*28*28
# max_pixels = 1280*28*28
# processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)


# 包含多个图像和文本查询的消息
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "output_frames/frame_0000.jpg"},
            {"type": "image", "image": "output_frames/frame_0001.jpg"},
            {"type": "text", "text": "找出这些图片之间的相似之处。"},

        ],
    }
]

# 准备推理
text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

# 推理
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

视频推理1

from modelscope import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info
import torch

model_path = "/media/model/Qwen/Qwen25-VL-7B-Instruct/"

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
    device_map="auto",
)


processor = AutoProcessor.from_pretrained(model_path)


messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "video": [
                    "output_frames/frame_0000.jpg",
                    "output_frames/frame_0001.jpg",
                    "output_frames/frame_0002.jpg",
                    "output_frames/frame_0003.jpg",
                ],
            },
            {"type": "text", "text": "描述这个视频。"},
        ],
    }
]

text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

视频推理2

from modelscope import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info
import torch

model_path = "/media/model/Qwen/Qwen25-VL-7B-Instruct/"

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
    device_map="auto",
)


processor = AutoProcessor.from_pretrained(model_path)


# messages = [
#     {
#         "role": "user",
#         "content": [
#             {
#                 "type": "video",
#                 "video": "test.mp4",
#             },
#             {"type": "text", "text": "描述这个视频。"},
#         ],
#     }
# ]


messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "video": "test.mp4",
                "max_pixels": 360 * 420,
                "fps": 1.0,
            },
            {"type": "text", "text": "描述这个视频。"},
        ],
    }
]



text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

generated_ids = model.generate(**inputs, max_new_tokens=8192)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

批量推理

from modelscope import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info
import torch

model_path = "/media/model/Qwen/Qwen25-VL-7B-Instruct/"

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    attn_implementation="flash_attention_2",
    device_map="auto",
)


processor = AutoProcessor.from_pretrained(model_path)

processor.tokenizer.padding_side = 'left'
# Sample messages for batch inference
messages1 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "output_frames/frame_0000.jpg"},
            {"type": "image", "image": "output_frames/frame_0001.jpg"},
            {"type": "text", "text": "这些图片中有哪些共同的元素？"},
        ],
    }
]
messages2 = [
    {"role": "system", "content": "你是一个能提供帮助的助手。"},
    {"role": "user", "content": "你是谁？"},
]
# Combine messages for batch processing
messages = [messages1, messages2]

# Preparation for batch inference
texts = [
    processor.apply_chat_template(msg, tokenize=False, add_generation_prompt=True)
    for msg in messages
]
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=texts,
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

# Batch Inference
generated_ids = model.generate(**inputs, max_new_tokens=8192)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_texts = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_texts)

72B

from modelscope import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info
import torch

#model_path = "/media/model/Qwen/Qwen25-VL-7B-Instruct/"

model_path = "/media//Qwen/Qwen25-VL-72B-Instruct-AWQ/"

# #7B
# model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
#     model_path,
#     torch_dtype=torch.bfloat16,
#     attn_implementation="flash_attention_2",
#     device_map="auto",
# )
# 72B
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    model_path,
    torch_dtype=torch.float16,
    attn_implementation="flash_attention_2",
    device_map="cuda",
)
model.config.use_cache = True
model = torch.compile(
                model,
                mode="max-autotune",
                fullgraph=True,
                dynamic=False
                )
processor = AutoProcessor.from_pretrained(model_path)


# 加载提示信息
def load_prompts():
    # 打开并读取文本文件的内容
    with open('prompt.txt', 'r', encoding='utf-8') as file:
        lines = file.readlines()

    # 将多行内容合并为单行
    prompt = ''.join(lines).replace('\n', ' ').strip()
    return prompt, 

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "video",
                "video": [

                    "output_frames/frame_0001.jpg",
                    "output_frames/frame_0000.jpg",
                    "output_frames/frame_0002.jpg",
                    "output_frames/frame_0003.jpg",

                ],
            },
            {"type": "text", "text": load_prompts()},
        ],
    }
]

text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

generated_ids = model.generate(**inputs, max_new_tokens=8192)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)
人工智能 - DeepSeek-VL2 、 qwen2.5 VL技术选型比较
02-05 2892
建议根据具体任务需求，结合少量实验（如使用开源版本的Qwen2.5-VL和DeepSeek-VL的试用API）进行效果验证。（如医疗影像分析、视频内容审核），尤其在需要深度推理和高精度定位的场景。在视觉-语言（Vision-Language, VL）多模态模型领域，企业级付费服务 → DeepSeek-VL2（商用API）高性能服务器 → DeepSeek-VL2（千亿参数版）边缘设备/低算力 → Qwen2.5-VL（量化版）场景占优，且开源生态完善，适合中小团队快速迭代。→ 选Qwen2.5-VL。
qwen2.5vl技术报告解读
luoshiyong123的博客
03-28 136
通义千问
Qwen2.5-VL环境搭建&推理测试
zzq1989_的专栏
04-21 474
Qwen2.5-VL模型不仅在对话、指令跟随、数学、代码等能力上有所提高，还支持坐标、json等返回格式、支持更长（1小时）的视频理解、更细粒度的时间感知、更全面的知识解析能力、具备更强的agent能力来操作手机和电脑。2025年春节期间，阿里推出Qwen2.5-VL，开源了3B、7B、72B模型，，能够处理图像和文本的联合任务，如图像描述生成、视觉问答（VQA）、图文匹配等。之前写了一篇Qwen2-VL的博客，感兴趣的童鞋请移步（），7B模型，显然我的机器是跑的起来的，OK，那就让我们开始吧。
Qwen2.5 VL 并发推理
二分掌柜的
03-12 1172
flyfish
Qwen2_5_VLForConditionalGeneration代码分析
fydw_715的博客
02-24 2287
Qwen2_5_VLForConditionalGeneration代码分析
【全网首发】使用 LoRA 微调 Qwen2.5-VL-7B-Instruct：完整流程解析
HovChen的博客
01-28 1万+
本篇文章介绍了如何使用 LoRA（Low-Rank Adaptation） 技术对 Qwen2.5-VL-7B-Instruct 进行轻量级微调，从而高效适配特定任务。我们详细解析了 模型加载、数据预处理、LoRA 适配、训练配置及推理评估 的完整流程，并提供了代码示例。通过 LoRA，我们可以 在较低计算资源下快速微调大规模视觉-语言模型（VLMs），使其更适用于特定领域任务。对于希望优化 Qwen2.5-VL 并实现高效微调的开发者，本文提供了一套实用的解决方案。🚀
Qwen2-VL环境搭建&推理测试
zzq1989_的专栏
09-18 3236
与上一代模型 Qwen-VL 不同，Qwen2-VL 可以处理任意分辨率的图像，而无需将其分割成块，从而确保模型输入与图像固有信息之间的一致性。这种方法更接近地模仿人类的视觉感知，使模型能够处理任何清晰度或大小的图像。通过将 original rotary embedding 分解为代表时间和空间（高度和宽度）信息的三个部分，M-ROPE 使 LLM 能够同时捕获和集成 1D 文本、2D 视觉和 3D 视频位置信息。），这么小的模型，显然我的机器是跑的起来的，OK，那就让我们开始吧。
运行 通义千问2.5-VL-32B-Instruct（Qwen/Qwen2.5-VL-32B-Instruct）时遇到的问题及解决方法合集
yyywxk的博客
04-14 1474
是 modelscope 库较新版本才支持的功能。是基于 CUDA 实现的高性能矩阵乘法库，若 CUDA 版本与所使用的深度学习框架、flash_attn 等库不兼容，就可能找不到合适的内核。这是因为启用了 FlashAttention2 功能，但系统中并未安装。该错误是由于 Transformers 库版本过旧，尚未支持。时遭遇了一系列问题，特此记录。包，因此无法使用该功能。
Qwen2.5-VL-3B进行多视角对象识别
yu2579491922的博客
03-30 442
在message中则应该创建多个type，每个image给入对应路径image_list[x]。对于单个图像无注意事项，对于多图像输入，改函数处理的是纯图像列表；一、Load model。以ipynb格式运行。1.图像处理部分应调用。
Qwen2.5-VL 技术报告
02-24
我们介绍了 Qwen2.5-VL，这是 Qwen 视觉-语言系列的最新...因此，Qwen2.5-VL 不仅在静态图像和文档理解方面表现出色，还作为交互式视觉代理，在操作计算机和移动设备等实际场景中具备推理、工具使用和任务执行的能力。
VLM 系列——Qwen2.5 VL——论文解读
TigerZ*的博客
03-25 149
整体模型架构由三个组件组成：视觉编码器、基于 MLP 的视觉-语言连接层、大型语言模型。引入了动态帧率（FPS）训练和绝对时间编码技术。这样一来，模型不仅能够支持小时级别的超长视频理解，还具备秒级的事件定位能力。
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现离线推理-降本增效（一）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-15 2万+
将Qwen2.5模型与vLLM框架进行有效整合，通过离线推理为实际项目带来更大的价值。
Qwen2.5-VL模型目标检测（Grounding）任务领域微调教程
最新发布
weixin_44312617的博客
05-12 964
​ 在目标检测领域，众多神经网络模型早已凭借其卓越的性能，实现了精准的目标检测与目标分割效果。然而，随着多模态模型的崛起，其在图像分析方面展现出的非凡能力，为该领域带来了新的机遇。多模态模型不仅能够深入理解图像内容，还能将这种理解转化为文本形式输出，极大地拓展了其应用场景。鉴于此，本文旨在打造一份详尽的教程，指导读者如何通过对主流多模态大模型进行微调，来实现目标检测任务。
【从零开始系列】Qwen2.5-VL：通义千问最新发布的多模态大模型！——环境配置 + 多功能使用实验（图片识别理解、目标检测、文字OCR、文档解析、视频理解）
qq_58718853的博客
02-11 1万+
Qwen-VL多模态大模型的安装使用，附大量实验图片
Qwen2.5-VL 开源视觉大模型，模型体验、下载、推理、微调、部署实战
coco的专栏
03-18 2521
如果需要高性能和效率，建议使用快速版本（
视觉语言模型 Qwen2-VL
二分掌柜的
12-06 1202
flyfish
从0到1本地部署2025年3月27日阿里开源的新一代旗舰多模态大模型Qwen2.5-Omni，实现无缝处理包括文本、图像、音频和视频在内的各种输入，同时支持流式的文本生成和自然语音合成输出
weixin_57736618的博客
03-29 1168
miniconda里只有conda和python，而anaconda里则集成了更多的科学计算库，这里我们已anaconda为例（请注意Anaconda下载包大约5G，接受不了就去下载miniconda，真的推荐Anaconda，因为后续你的miniconda里没的还是要下）这里会用到git，没的话自己下个安装，下一步下一步就完事了，年轻人胆子大一点儿。会看到这么一大坨，不要被吓到，下载依赖而已，输入y就完事了，虚拟环境，别担心。等待安装完成，其实他已经提示你怎么进入这个虚拟环境了。如果没有安装，请访问。
Qwen2.5-Omni 大模型部署实践（七）：通过屏幕录制实现智能信息交互
寻道AI，探索AI无限可能！
04-12 1131
在信息爆炸的时代，如何高效地从繁杂的屏幕内容中获取所需信息成为了关键。Qwen2.5-Omni作为一款先进的多模态大模型，为我们开辟了一条全新路径——通过屏幕录制实现智能信息交互。用户只需在录制屏幕时实时提问，便能借助Qwen2.5-Omni迅速获取想了解的信息与内容，极大提升信息获取的效率与便捷性。接下来，让我们深入探究这一创新交互方式的实现过程。为高效处理视频输入和文本提示，并生成精准的文本输出，我们需定义一个专属推理函数。此函数协调模型与各类工具，确保任务顺利推进。
qwen2.5-vl推理适配
02-18
### Qwen2.5-VL模型推理适配方法和指南 #### 1. 准备环境 为了确保Qwen2.5-VL能够顺利运行，建议使用Docker容器来创建隔离的开发环境。这不仅简化了依赖管理，还提高了部署的一致性和可靠性[^1]。 安装并配置好Docker之后，可以拉取官方提供的预构建镜像： ```bash docker pull qwen/qwen2.5-vl:latest ``` 启动容器时推荐挂载本地目录以便于数据交换： ```bash docker run -it --rm -v /local/path:/container/path qwen/qwen2.5-vl:latest bash ``` #### 2. 加载模型 进入容器内部后，通过Python脚本加载Qwen2.5-VL模型。考虑到该模型体积较大，在首次加载前可能需要下载权重文件至缓存路径下。对于已经训练好的模型实例，则可以直接调用API接口完成初始化工作。 ```python from transformers import AutoModelForVision2Seq, AutoProcessor processor = AutoProcessor.from_pretrained("qwen/Qwen2.5-VL") model = AutoModelForVision2Seq.from_pretrained("qwen/Qwen2.5-VL") ``` #### 3. 数据处理 针对输入的数据集，需按照特定格式进行预处理操作。具体来说，图片类资源应当转换成适合传递给神经网络的形式；而对于文本描述部分，则要遵循BERT编码器的要求实施分词、截断等措施。处理器对象`AutoProcessor`可以帮助自动化这部分流程。 ```python image_path = "example_image.png" text_query = "What is this image about?" encoding = processor(image=image_path, text=text_query, return_tensors="pt") pixel_values = encoding["pixel_values"] input_ids = encoding["input_ids"] attention_mask = encoding.get("attention_mask", None) ``` #### 4. 执行推理 准备好所有必要的参数后即可执行实际的预测过程。这里需要注意的是，由于多模态任务的特点决定了每次请求可能会消耗较多计算资源，因此合理设置批大小(batch size)以及优化GPU内存分配显得尤为重要。 ```python outputs = model.generate( pixel_values=pixel_values, input_ids=input_ids, attention_mask=attention_mask, ) generated_text = processor.batch_decode(outputs, skip_special_tokens=True)[0] print(generated_text) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二分掌柜的

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值