vLLM 推理 Qwen2.5-VL-7B 视频

最新推荐文章于 2025-05-06 18:50:06 发布

二分掌柜的

最新推荐文章于 2025-05-06 18:50:06 发布

阅读量723

点赞数 26

分类专栏：大模型目标检测文章标签：音视频算法

本文链接：https://blog.csdn.net/flyfish1986/article/details/147576276

版权

大模型同时被 2 个专栏收录

260 篇文章

订阅专栏

目标检测

101 篇文章

订阅专栏

vLLM 推理 Qwen2.5-VL-7B 视频

flyfish

from transformers import AutoProcessor
# SamplingParams用于设置采样参数
from vllm import LLM, SamplingParams
# 从自定义的qwen_vl_utils模块导入process_vision_info函数，用于处理视觉信息
from qwen_vl_utils import process_vision_info


MODEL_PATH = "/media/Qwen/Qwen25-VL-7B-Instruct/"
video_path ="/media//test/output/1.mp4"

# 初始化LLM对象，加载指定路径的模型，并进行相关配置
llm = LLM(
    model=MODEL_PATH,  # 模型路径
    gpu_memory_utilization=0.8,  # GPU内存利用率，这里设置为80%
    tensor_parallel_size=1,  # 张量并行大小，设置为1表示不使用张量并行
    max_model_len=8192,  # 模型支持的最大输入长度
    dtype="bfloat16",  # 数据类型，使用bfloat16以减少内存占用
    enforce_eager=True,  # 强制使用即时执行模式
    limit_mm_per_prompt={"image": 10, "video": 10},  # 每个提示的多模态数据限制，这里图像和视频最多各10个
)

# 定义采样参数，用于控制模型生成文本的方式
sampling_params = SamplingParams(
    temperature=0.1,  # 温度参数，控制生成文本的随机性，值越小越确定
    top_p=0.001,  # 核采样的概率阈值，只考虑概率累积和达到该阈值的词
    repetition_penalty=1.05,  # 重复惩罚因子，用于减少生成文本中的重复内容
    max_tokens=8192,  # 生成文本的最大长度
    stop_token_ids=[],  # 停止生成的token ID列表，这里为空表示不设置停止条件
)

# 定义视频输入的消息列表，包含系统消息和用户消息
# 系统消息用于给模型提供一些基本的指令或信息
# 用户消息包含文本和视频信息，要求模型描述指定的视频
video_messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": [
            {"type": "text", "text": "描述这个视频。"},
            {
                "type": "video", 
                "video": "file:///" + video_path,  # 视频文件的URL
                "total_pixels": 20480 * 28 * 28, "min_pixels": 16 * 28 * 28  # 视频的总像素和最小像素信息
            }
        ]
    },
]


messages = video_messages


processor = AutoProcessor.from_pretrained(MODEL_PATH)
# 使用处理器将消息应用到聊天模板中，生成模型的输入提示，不进行分词操作，并添加生成提示
prompt = processor.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
# 调用process_vision_info函数处理消息中的视觉信息，返回图像输入和视频输入,不同的程序版本process_vision_info用法不同
image_inputs, video_inputs = process_vision_info(messages)

# 初始化多模态数据字典
mm_data = {}

# 如果视频输入不为空，将视频输入添加到多模态数据字典中
if video_inputs is not None:
    mm_data["video"] = video_inputs

# 定义模型的输入字典，包含提示和多模态数据
llm_inputs = {
    "prompt": prompt,
    "multi_modal_data": mm_data,
}

# 调用LLM对象的generate方法，根据输入和采样参数生成文本
outputs = llm.generate([llm_inputs], sampling_params=sampling_params)
# 从输出结果中提取生成的文本
generated_text = outputs[0].outputs[0].text


print(generated_text)

`LLM` 参数

模型路径与版本相关参数

model：这是一个必需的参数，它指定了要加载的模型的路径或者模型的名称。若提供的是路径，程序会从该路径加载模型；若提供的是名称，程序会尝试从 Hugging Face 的模型库中下载并加载对应的模型。
revision：此参数用于指定模型的版本，默认值为 "main"。你可以通过这个参数来选择加载特定版本的模型。

硬件与并行计算相关参数

gpu_memory_utilization：该参数表示 GPU 内存的利用率，默认值为 0.9。它的取值范围在 0 到 1 之间，通过调整这个参数可以控制模型加载时使用的 GPU 内存比例。
tensor_parallel_size：这个参数用于设置张量并行的大小，默认值为 1。张量并行是一种并行计算技术，通过将模型的张量分割到多个 GPU 上进行计算，从而加速模型的推理过程。
max_num_batched_tokens：它指定了每次推理时最大的批处理 token 数量，默认值为 2560。适当调整这个参数可以平衡推理速度和内存使用。
swap_space：表示每个 GPU 的交换空间大小（单位为 GB），默认值为 4。当 GPU 内存不足时，会使用交换空间来存储临时数据。

模型运行相关参数

dtype：用于指定模型的数据类型，默认值为 "auto"。常见的数据类型包括 "float16"、"bfloat16" 等，选择合适的数据类型可以在保证模型精度的前提下，减少内存占用。
max_model_len：表示模型支持的最大输入长度，默认值为 2048。如果输入的文本长度超过这个值，可能会导致错误或截断输入。
quantization：该参数用于指定模型的量化方法，默认值为 None。量化是一种压缩模型的技术，可以减少模型的内存占用和推理时间。
enforce_eager：这是一个布尔类型的参数，默认值为 False。当设置为 True 时，会强制使用即时执行模式。

多模态相关参数

limit_mm_per_prompt：此参数用于限制每个提示中的多模态数据数量，例如可以设置为 {"image": 10, "video": 10}，表示每个提示中图像和视频的最大数量分别为 10。

这里没有传递的参数

Tokenizer 相关参数
- tokenizer：指定分词器的名称或路径（默认与 model 共用，可单独指定）。
- tokenizer_mode："auto"（优先使用快速分词器）或 "slow"（强制使用慢速分词器，默认 "auto"）。
- skip_tokenizer_init：跳过分词器初始化（默认 False），需手动提供 prompt_token_ids。
- trust_remote_code：信任远程代码（如 Hugging Face 自定义模型，默认 False，安全相关）。
量化相关参数
- quantization：模型量化方法，支持 "awq"、"gptq"、"fp8"（实验性），默认 None（不量化，使用 dtype）。
版本控制参数
- revision：模型版本（分支、标签、commit ID，默认 None）。
- tokenizer_revision：分词器版本（同上）。
硬件与内存参数
- cpu_offload_gb：CPU 内存用于卸载模型权重（单位 GB，默认 0），牺牲速度换取更大模型支持。
- max_seq_len_to_capture：CUDA 图支持的最大序列长度，超过则回退到即时模式（默认未指定，需根据模型调整）。
安全与多模态参数
- allowed_local_media_path：允许读取本地媒体文件的路径（安全风险，仅可信环境启用），用于多模态输入（如图像、视频）。
其他参数
- seed：随机数生成种子（默认 None），控制采样随机性。
- disable_custom_all_reduce：禁用自定义 AllReduce（分布式训练相关，默认 False）。
- hf_overrides：覆盖 Hugging Face 模型配置（字典或可调用对象）。
- compilation_config：模型编译优化配置（整数或字典，默认 None）。

参数分类总结（按功能）

类别	参数
模型与分词器	`model`, `tokenizer`, `tokenizer_mode`, `skip_tokenizer_init`, `trust_remote_code`, `revision`, `tokenizer_revision`
分布式与硬件	`tensor_parallel_size`, `gpu_memory_utilization`, `swap_space`, `cpu_offload_gb`, `max_seq_len_to_capture`, `disable_custom_all_reduce`
数据类型与量化	`dtype`, `quantization`
安全与多模态	`allowed_local_media_path`
初始化与配置	`seed`, `enforce_eager`, `hf_overrides`, `compilation_config`

GPU操作执行模式 `enforce_eager` 参数

CUDA 图（CUDA Graphs）

1. 核心概念

CUDA 图是 NVIDIA 提供的一项技术，用于将一系列 GPU 操作（如张量计算、内存操作等） 捕获并封装为一个可重复执行的“图”。这个图可以在后续执行时作为一个整体提交给 GPU，避免重复的 CPU-GPU 通信开销，从而提升执行效率。

2. 优势

高效性：捕获图后，只需一次 CPU-GPU 通信即可提交整个计算流程，减少内核启动和同步开销，适合 静态、重复的计算模式（如固定输入形状的推理）。
低延迟：对相同或相似的计算任务，执行速度比即时模式更快。

3. 限制

静态性：要求计算流程（如张量形状、操作顺序）在图捕获时完全确定，不支持动态变化（如条件分支、动态形状调整）。
兼容性问题：某些复杂操作（如非确定性操作、动态内存分配）可能无法被 CUDA 图捕获，导致错误或功能失效。

即时模式（Eager Execution）

1. 核心概念

即时模式是指 每条 GPU 操作指令立即执行，无需预先捕获或构建计算图。操作的结果会立即返回给 CPU，流程控制更灵活（如支持动态条件判断、实时调整张量形状）。

2. 特点

灵活性：适合 动态计算场景（如训练过程中动态调整输入、包含条件分支的模型）。
调试友好：操作结果可实时查看，方便调试和开发。
开销较高：每次操作都需要 CPU-GPU 通信和内核启动，重复执行时效率低于 CUDA 图。

`enforce_eager=True` 的作用与场景

在 VLLM 的 LLM 类中，enforce_eager 参数控制是否强制使用即时模式（禁用 CUDA 图）：

默认 False：混合使用 CUDA 图和即时模式。对于固定输入模式的计算（如常规推理），优先使用 CUDA 图提升效率；遇到动态操作时自动切换到即时模式。
True：强制禁用 CUDA 图，完全使用即时模式。适用于以下场景：
1. 复杂操作兼容性：当模型包含动态形状、条件分支（如多模态处理中的视频帧动态解码）、自定义 CUDA 内核等，CUDA 图可能无法正确捕获或执行这些操作，导致错误。此时必须启用即时模式以确保功能正常。
2. 调试需求：即时模式下操作结果可实时验证，方便排查问题。
3. 动态输入场景：输入数据形状或计算流程在运行时变化（如变长视频处理），CUDA 图的静态特性无法支持。

实际使用中，若模型输入和计算流程完全静态，保持默认 `False` 可获得更好性能；若遇到动态操作报错，则需启用此参数。

模式	优势	劣势	适用场景
CUDA 图	高效、低延迟（静态任务）	不支持动态操作	固定输入的推理任务（如文本生成）
即时模式	灵活、兼容动态操作	效率较低（重复任务）	动态输入、复杂逻辑、调试场景