大模型本地化部署---Qwen2VL-7B多模态大模型部署（附教程）

于 2025-03-26 15:26:38 发布
阅读量1k 收藏 11
点赞数 13
文章标签： 人工智能 LLM embedding 程序员 自然语言处理 多模态大模型 本地化部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81940605/article/details/146531697
版权

引言

随着人工智能技术的飞速发展，多模态大模型逐渐成为研究和应用中的热点。Qwen2VL-7B，作为一个强大的多模态模型，具备理解和生成文本、图像以及视频等多种数据类型的能力。本文将详细介绍如何在CUDA 12.1和Python 3.11环境下，使用RTX 3090显卡部署Qwen2VL-7B多模态大模型。

环境准备

1. 硬件与软件要求
  • 显卡：NVIDIA RTX 3090（实测7B量化模型需要16G以上显存）
  • CUDA版本：CUDA 12.1
  • Python版本：Python 3.11
2. 下载模型文件

首先，需要从魔搭社区下载Qwen2VL-7B多模态大模型的文件。使用以下Python脚本可以方便地下载模型：

from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen2-VL-7B-Instruct-GPTQ-Int4')

该脚本会将模型文件下载到指定的目录，便于后续使用。

3. 创建虚拟环境并安装依赖

使用Conda创建一个新的虚拟环境，并安装所需的依赖库：

conda create --name qwen2_vl python=3.11
conda activate qwen2_vl
pip install -U vllm -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple
pip install -U --force git+https://github.com/huggingface/transformers
pip install qwen-vl-utils -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

这些依赖库包括vllm、transformers和qwen-vl-utils，它们对模型的运行至关重要。

模型部署

1. 导入必要的库

在部署模型之前，需要导入相关的Python库：

from PIL import Image
from transformers import AutoProcessor
from vllm import LLM, SamplingParams
from qwen_vl_utils import process_vision_info
2. 初始化模型

通过以下代码初始化Qwen2VL-7B多模态大模型：

MODEL_PATH = 'qwen/Qwen2-VL-7B-Instruct-GPTQ-Int4'
llm = LLM(
    model=MODEL_PATH,
    limit_mm_per_prompt={'image': 10, 'video': 10},
)

这里设置了每个提示中图像和视频的最大数量。

3. 设置采样参数

设置生成文本的采样参数，以控制生成文本的质量和多样性：

sampling_params = SamplingParams(
    temperature=0.1, top_p=0.001, repetition_penalty=1.05, max_tokens=256,
    stop_token_ids=[],
)
4. 准备输入数据

构建包含图像和文本输入的消息：

IMAGE_PATH = '1.jpg'
VIDEO_PATH = '/path/to/video.mp4'

messages = [
    {'role': 'system', 'content': 'You are a helpful assistant.'},
    {'role': 'user', 'content': [
        {
            'type': 'image',
            'image': IMAGE_PATH,
            'max_pixels': 12845056,
        },
        # {
        #     'type': 'video',
        #     'video': VIDEO_PATH,
        # }
        {
            'type': 'text',
            'text': 'What does this diagram illustrate?',
        },
    ]},
]
5. 处理输入数据

使用AutoProcessor和process_vision_info函数处理输入数据：

processor = AutoProcessor.from_pretrained(MODEL_PATH)
prompt = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True,
)
image_inputs, video_inputs = process_vision_info(messages)

mm_data = {}
if image_inputs is not None:
    mm_data['image'] = image_inputs
if video_inputs is not None:
    mm_data['video'] = video_inputs
6. 生成输出文本

最后，将处理后的数据输入模型，并生成输出文本：

llm_inputs = {
    'prompt': prompt,
    'multi_modal_data': mm_data,
}

outputs = llm.generate([llm_inputs], sampling_params=sampling_params)
generated_text = outputs[0].outputs[0].text

print(generated_text)

总结

本文详细介绍了如何在CUDA 12.1和Python 3.11环境下，使用RTX 3090显卡部署Qwen2VL-7B多模态大模型。通过详细的步骤和代码示例，读者可以轻松实现模型的下载、依赖安装、初始化、数据准备和文本生成。希望本文能为你在多模态大模型的研究和应用中提供帮助。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

Qwen2.5 本地部署的实战教程
herosunly的博客
09-23 14万+
本文主要介绍了Qwen2.5 本地部署的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 介绍 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行Qwen2.5 3.1 简单测试 3.2 启动API服务
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-vLLM+Docker（七）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-11 2万+
通过vLLM的Docker镜像，快速体验Qwen2-VL-7B-Instruct推理效果
【Linux】环境搭建Qwen2-VL-7B模型（图文详解-成果案例）
m0_52985087的博客
11-22 4764
如果你服务器不支持访问Hugging Face的地址或者先通过代理下载到本地在上传到服务器，或者在服务器上通过魔塔社区地址进行下载。如果通过 pip install -r requirements.txt 不能下载，那么我们可以手动下载以上文件内容。把Files and versions 下文件全部下载，模型下载时间比较长，耐心等待。到此大功告成，web端部署成功。可以在服务器上通过命令，这个下载速度相对较快。主要修改模型加载路径和访问的地址端口。报错如下：百度之后发现是由于这是由于。需要开放对应的端口。
【大模型本地化部署】Qwen2VL-7B多模态大模型部署
2301_81940605的博客
10-29 4367
随着人工智能技术的飞速发展，多模态大模型逐渐成为研究和应用中的热点。Qwen2VL-7B，作为一个强大的多模态模型，具备理解和生成文本、图像以及视频等多种数据类型的能力。本文将详细介绍如何在CUDA 12.1和Python 3.11环境下，使用RTX 3090显卡部署Qwen2VL-7B多模态大模型。
Qwen2-VL-7B本地部署和微调
qq_55334382的博客
09-11 1万+
Qwen2-VL-7B 是阿里巴巴开发的一款多模态大语言模型，属于Qwen2-VL系列的一部分。该模型能够处理文本、图像、多张图像和视频输入，尤其擅长视觉-语言任务，如文档理解、视频问答和复杂的多语言任务。它在多个视觉理解基准测试中表现出色，包括DocVQA和MTVQA。Qwen2-VL-7B 拥有约70亿参数，支持多种语言，包括中文、英文、日语、韩语、阿拉伯语等。这使得它适用于跨语言场景，尤其在文档、图片和视频的多模态理解方面具有领先的表现。
保姆级本地部署Qwen2
紫川琴秀的博客
06-27 2584
保姆级本地部署Qwen2
本地部署千文2多模态大模型Qwen2-VL-7B-Instruct-GPTQ-Int4
yylhm1125的博客
09-24 2154
pip install optimum（安装这个模块的时候会卸载transformers，所以如果是先安装的transformers按完这个需要再次安装transformers，或者后安装transformers）3、安装modelscope（下载方式为魔塔社区命令行下载）第三部分 编写python代码加载模型并推理。第四部分 可能出现的问题（有待补充）2、安装代码运行环境。
LLM - 使用 LLaMA-Factory 微调 Qwen2-VL SFT(LoRA) 图像数据集 教程 (2)
AGI
11-12 2951
LLaMA-Factory 是开源的大模型微调框架，用于高效地微调和部署大语言模型，支持多种预训练模型和微调算法，提供完整的工具和接口，对于预训练的模型进行定制化的训练和调整，以适应特定的应用场景。
实战千问2大模型第一天——Qwen2-7B（知识问答）的部署和fastapi封装
qq_34717531的博客
09-10 1561
Qwen2-7B是由阿里云通义千问团队开发的一系列大型语言模型中的一个。这个模型是基于Transformer架构的，包含自注意力和因果掩码机制，专注于处理和生成自然语言文本。Qwen2-7B是在超大规模的预训练数据上训练得到的，这些数据不仅包括中英文，还包含其他25种语言的高质量数据。这个模型不仅在语言理解和生成方面表现出色，还在编程、数学解题等多个领域显示了其先进的性能。
本地部署 Qwen2.5-VL 开源视觉大模型！
海阔凭鱼跃天高任鸟飞的博客
03-07 1186
Qwen2.5-VL 是 Qwen 推出的全新旗舰视觉语言模型，较其前身 Qwen2-VL 有了重大飞跃。该模型不仅能够掌握花、鸟、鱼和昆虫等常见物体的识别，还能分析图像中的复杂文本、图表、图标、图形和布局，为多模态 AI 树立了新标准。此外，Qwen2.5-VL 被设计为高度代理，并且能够进行动态推理和工具指导——无论是在计算机还是手机上使用。该模型的高级功能包括能够理解长度超过一小时的视频、精确定位其中的特定事件，并通过生成边界框或点来准确定位图像中的对象。
在NVIDIA 4070Ti显卡上部署Qwen2-VL-7B-Instruct大模型的过程
haibo2144的博客
12-26 2845
通过上述步骤，我们成功地在NVIDIA 4070Ti显卡上部署了 Qwen2-VL-7B-Instruct 大模型。我们通过混合精度计算（FP16）和 Flash Attention 2 技术显著优化了显存的使用，确保模型在较低显存的情况下也能顺利运行。在遇到显存不足等问题时，通过调整生成的最大token数量和使用更小的batch size，我们有效地避免了显存溢出的问题。这为大模型的本地推理提供了一个实际可行的解决方案，能够在资源有限的环境中充分利用GPU加速，并且确保推理的高效性。
qwen2:7b本地化部署：Ollama更新、设置、api调用qwen2服务
weixin_42118737的博客
08-26 1万+
本篇介绍了如何使用Ollama本地化部署qwen2:7b，以及进行Ollama的参数设置以及使用api调用qwen2的api服务的方法。
阿里Qwen2开源大模型本地部署及调试全攻略
weixin_39558582的博客
08-17 3684
阿里Qwen2开源大模型本地部署及调试全攻略#Qwen2系列大模型性能卓越，超越业界知名模型。开源后受到AI开发者关注，支持多种语言，提升多语言理解。在预训练和微调上优化，实现智能水平提升。Qwen2系列模型在各项能力上均领先，为全球开发者提供更多选择。通义千问 Qwen2，登顶国内第一大模型！相比近期推出同等规模的开源最好的Llama3-8B、GLM4-9B等模型，Qwen2-7B-Instruct依然能在多个评测上取得显著的优势，尤其是代码及中文理解上。
Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人
老牛啊
06-12 1万+
阿里云正式开源通义千问Qwen2系列模型，其中Qwen2-72B成为全球性能最强的开源模型，在全球权威测评中，性能超过美国最强开源模型Llama3-70B，也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。今天老牛同学部署和体验Qwen2-7B中等尺寸模型，包括本地部署、API嗲用和WebUI对话客户端……
实战千问2大模型第二天——Qwen2-VL-7B（多模态）的部署和测试
qq_34717531的博客
09-10 4014
2024年 8 月 30 日，通义千问团队今天对 Qwen-VL（视觉语言、Vision Language）模型进行更新，推出 Qwen2-VL。Qwen2-VL 的一项关键架构改进是实现了与上一代模型 Qwen-VL 不同，，从而确保模型输入与图像固有信息之间的一致性。这种方法更接近地模仿人类的视觉感知，使模型能够处理任何清晰度或大小的图像。
实战千问2大模型第三天——Qwen2-VL-7B（多模态）视频检测和批处理代码测试
qq_34717531的博客
09-11 2397
阿里通义千问开源新一代视觉语言模型Qwen2-VL。其中，Qwen2-VL-72B在大部分指标上都达到了最优，刷新了开源多模态模型的最好表现，甚至超过了GPT-4o和Claude 3.5 Sonnet等闭源模型。1、能读懂不同分辨率和不同长宽比的图片：Qwen2-VL在多个视觉理解基准测试中取得了全球领先的表现，其中包括但不限于考察数学推理能力的MathVista、考察文档图像理解能力的DocVQA、考察真实世界空间理解能力的RealWorldQA、考察多语言理解能力的MTVQA。
在阿里云上部署Qwen-7B和Qwen-VL
2401_83692861的博客
04-17 1363
5.安装torch torchvision torchaudio。7. 如果您的设备支持fp16或bf16，我们建议安装。）以获得更高的效率和更低的内存占用。3.进入Qwen-7B文件，下载模型。3.进入Qwen-VL文件，下载模型。6.安装A卡版本auto-gptq。1.创建conda虚拟环境。1.创建conda虚拟环境。
使用 vllm 本地部署 cohere 的 command-r
engchina的专栏
04-24 1162
使用 vllm 本地部署 cohere 的 command-r
本地部署Qwen2.5-VL 3B模型，并接入到Dify
最新发布
03-27
<think>好的，用户的问题是关于如何在本地部署Qwen2.5-VL 3B模型并将其集成到Dify平台。我需要先理解用户的需求，然后根据提供的引用资料和已有的知识来组织回答。 首先，用户提到的Qwen2.5-VL 3B模型，应该是一个视觉语言模型，支持多模态输入。本地部署可能需要使用Ollama这样的工具，因为引用中提到了使用Ollama部署Qwen2.5（7B）模型[^2][^3]。而Dify是一个用于构建和部署AI应用的开源平台，用户想将模型接入其中，可能需要通过API的方式。 接下来，我需要考虑步骤。根据引用资料，部署Qwen2.5的步骤包括安装Ollama、下载模型、启动服务，然后部署Dify并配置模型接入。但Qwen2.5-VL 3B可能有一些不同，需要确认是否有对应的Ollama支持。如果Ollama不支持，可能需要其他方法，比如直接使用模型的API或转换模型格式。 然后，检查引用中的信息。引用[2]提到用Ollama部署Qwen2.5（7B），所以可能同样适用于3B版本。但需要确认模型是否在Ollama的模型库中存在。如果不存在，可能需要用户自己创建Modelfile，或者从Hugging Face等平台下载并转换。 另外，Dify的部署步骤在引用[2]和[3]中都有提到，需要安装Dify社区版，配置环境变量，然后启动服务。接入模型时，需要在Dify中添加自定义模型，指向本地Ollama的API端点，比如http://localhost:11434/v1。 可能需要注意的地方包括模型是否支持视觉输入，因为Qwen2.5-VL是视觉语言模型，而Dify的默认配置可能只处理文本。这时候可能需要额外的配置来处理多模态数据，或者确保Dify的版本支持多模态输入。 用户的问题中还提到“实现与Dify平台的集成”，所以需要说明如何在Dify中添加模型，可能需要进入系统设置，填写模型名称和API端点，并测试连接是否成功。 总结步骤应该是：1. 部署Qwen2.5-VL 3B模型到本地，使用Ollama或直接运行；2. 部署Dify平台；3. 在Dify中配置模型API端点；4. 测试集成效果。同时，需要提醒用户注意资源要求，比如GPU显存，以及可能的依赖安装问题。 还需要生成相关问题，比如性能优化、多模态处理、私有化部署的其他方法等，这些可以基于引用中的内容扩展，例如引用[1]提到的模型对比，引用[2][3]中的部署步骤。</think>### 分步指南：本地部署 Qwen2.5-VL 3B 模型并接入 Dify 平台 #### 一、部署 Qwen2.5-VL 3B 模型 1. **环境准备** - 操作系统：建议使用 Linux（Ubuntu 20.04+）或 macOS - 硬件要求：至少 8GB 显存的 NVIDIA GPU，16GB 内存 - 安装依赖： ```bash # 安装 NVIDIA 驱动和 CUDA Toolkit sudo apt install nvidia-driver-535 cuda-12.2 # 安装 Python 3.10+ sudo apt install python3.10 python3-pip ``` 2. **通过 Ollama 部署（推荐）** ```bash # 安装 Ollama curl -fsSL https://ollama.com/install.sh | sh # 下载 Qwen2.5-VL 3B 模型（需确认模型已发布在 Ollama 库） ollama pull qwen2.5-vl-3b # 启动模型服务 ollama serve ``` - 验证 API 端点：浏览器访问 `http://localhost:11434` 显示 Ollama 版本信息[^3] 3. **原生部署（备用方案）** ```bash git clone https://github.com/QwenLM/Qwen-VL cd Qwen-VL pip install -r requirements.txt # 下载模型文件（需申请权限） wget https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL-3B-Chat.zip # 启动 FastAPI 服务 python openai_api.py --model-path ./Qwen-VL-3B-Chat --server-name 0.0.0.0 ``` #### 二、部署 Dify 平台 1. **Docker 部署** ```bash git clone https://github.com/langgenius/dify cd dify/docker # 修改 .env 文件配置 echo "OLLAMA_API_URL=http://localhost:11434" >> .env docker-compose up -d ``` - 访问 `http://localhost:8080` 进入 Dify 控制台[^2] 2. **模型接入配置** - 进入 Dify 控制台 → 设置 → 模型供应商 - 添加自定义模型： ``` 供应商名称：Qwen2.5-VL-3B API 端点：http://localhost:11434/v1（Ollama）或 http://localhost:8000/v1（原生部署） API 密钥：留空（本地部署无需鉴权） ``` #### 三、多模态支持配置 1. **文件预处理设置** ```yaml # 修改 dify 的 docker-compose.yml services: worker: environment: - SUPPORTED_FILE_EXTS=.png,.jpg,.pdf ``` 2. **测试视觉问答** ```python # 通过 Dify API 发送多模态请求 import requests response = requests.post( "http://localhost:8080/v1/chat/completions", json={ "model": "qwen2.5-vl-3b", "messages": [{ "role": "user", "content": [ {"type": "text", "text": "描述这张图片"}, {"type": "image_url", "image_url": {"url": "data:image/png;base64,..."}} ] }] } ) ``` #### 四、验证部署 1. **功能测试** - 在 Dify 创建包含图片上传功能的应用程序 - 上传测试图片并验证模型响应是否包含视觉内容分析 2. **性能调优** ```bash # 调整 Ollama 运行参数 OLLAMA_NUM_GPU=1 ollama serve # 修改 Dify 的批处理参数 echo "INFERENCE_BATCH_SIZE=4" >> .env ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值