开源模型应用落地-Qwen2-7B-Instruct与vllm-单机多卡-RTX 4090双卡-基准测试（十三）

最新推荐文章于 2025-04-14 11:33:05 发布
最新推荐文章于 2025-04-14 11:33:05 发布
阅读量3.1w 收藏 356
点赞数 396
分类专栏： 开源模型-实际应用落地 # 开源大语言模型-vllm推理加速的正确姿势 文章标签： 自然语言处理 深度学习 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq839019311/article/details/140995291
版权

一、前言

    基准测试对于评估模型的性能至关重要，它能准确评估模型的性能，如速度、响应时间和吞吐量等；为优化工作指明方向，发现瓶颈和不足；助力资源规划，确定满足工作负载和性能要求所需的软硬件资源；建立基准线，为后续性能监测和评估提供参考，衡量改进效果和系统变化；还能保证系统或产品符合性能标准和质量要求，是评估和改进性能、进行资源规划以及做出决策的重要工具。

    本次部署采用了入门级的4090双卡 24GB显存的配置，为大家提供了一种可参考的方案。

二、术语

2.1. vLLM

    vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量。

2.2. Qwen2-7B-Instruct

    是通义千问 Qwen2 系列中的一个指令微调模型。它在 Qwen2-7B 的基础上进行了指令微调，以提高模型在特定任务上的性能。

    Qwen2-7B-Instruct 具有以下特点：

  • 强大的性能
了解本专栏 订阅专栏 解锁全文 超级会员免费看
开源模型应用落地-Qwen2-7B-Instruct与vllm-单机多卡-RTX 4090双卡（十一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct
开源模型应用落地-Qwen2-7B-Instruct与vllm实现推理加速的正确姿势（十）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
06-11 4469
Qwen2-7B-Instruct集成vllm，流式输出
使用 vllm 本地部署 cohere 的 command-r
engchina的专栏
04-24 1177
使用 vllm 本地部署 cohere 的 command-r
【sglang模型部署】sglang部署embedding模型之gte-Qwen2-7B-instruct，然后接入dify知识库，做RAG系统。
扶着老奶奶闯红灯
04-01 605
【sglang模型部署】sglang部署embedding模型之gte-Qwen2-7B-instruct，然后接入dify知识库，做RAG系统。
[大模型]Yi-6B-chat WebDemo 部署
FL1623863129的博客
04-13 904
由60亿个参数组成的高级语言模型 Yi LLM。为了促进研究，Yi 已经为研究社区开放了Yi LLM 6B/34B Base 和 Yi LLM 6B/34B Chat。
Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人
老牛啊
06-12 1万+
阿里云正式开源通义千问Qwen2系列模型，其中Qwen2-72B成为全球性能最强的开源模型，在全球权威测评中，性能超过美国最强开源模型Llama3-70B，也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。今天老牛同学部署和体验Qwen2-7B中等尺寸模型，包括本地部署、API嗲用和WebUI对话客户端……
开源模型应用落地-Qwen2-7B-Instruct-Lora与vllm-单机多卡-RTX 4090双卡（十五）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-12 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct和Lora权重
开源模型应用落地-Qwen2-7B-Instruct-GPTQ-Int4与vllm-单机多卡-RTX 4090双卡（十二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct-gptq-int4
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机多卡-RTX 4090双卡（五）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-10 4万+
使用LLaMA-Factory高效微调qwen2-7b-instruct
[大模型]Qwen2-7B-Instruct vLLM 部署调用
FL1623863129的博客
06-15 1万+
vLLM框架是一个高效的大语言模型vLLMKVvLLMvLLMOpenAIAPIGPUvLLM在AutoDL平台中租赁一个 3090 等 24G 显存大小的容器实例，镜像选择如下PyTorch→2.1.0→→12.1接下来打开本地设备终端使用ssh的方式访问，在终端中依次复制登录指令和密码完成登录ssh登录成功后的界面如图所示👇或者也可以直接打开AutoDL网页端的快捷工具中选择JupyterLab并在其中点击终端打开（这种方式不需要验证🫠）接下来开始环境配置、模型下载和运行演示 ~pip。
[大模型]Qwen2-7B-Instruct Lora 微调
FL1623863129的博客
06-15 4090
LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。task_type：模型类型：需要训练的模型层的名字，主要就是attention部分的层，不同的模型对应的层的名字不同，可以传入数组，也可以字符串，也可以正则表达式。rlora的秩，具体可以看Lora原理lora_alphaLora alaph，具体作用参见Lora原理Lora的缩放是啥嘞？当然不是r（秩），这个缩放就是, 在这个LoraConfig中缩放就是4倍。
Qwen2-7B-Instruct 简介：基本概念与特点
gitblog_02488的博客
12-10 885
Qwen2-7B-Instruct 简介：基本概念与特点 Qwen2-7B-Instruct 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/Qwen2-7B-Instruct ...
[大模型]Qwen2-7B-Instruct 接入 LangChain 搭建知识库助手
FL1623863129的博客
06-15 2614
在上述类定义中，我们分别重写了构造函数和 _call 函数：对于构造函数，我们在对象实例化的一开始加载本地部署的 Qwen2 模型，从而避免每一次调用都需要重新加载模型带来的时间过长；_call 函数是 LLM 类的核心函数，LangChain 会调用该函数来调用 LLM，在该函数中，我们调用已实例化模型的 generate 方法，从而实现对模型的调用并返回调用结果。完成自定义 LLM 类之后，可以以完全一致的方式调用 LangChain 的接口，而无需考虑底层模型调用的不一致。
Qwen2-7B-Instruct：打造高效运行环境的配置指南
gitblog_02315的博客
01-18 471
Qwen2-7B-Instruct：打造高效运行环境的配置指南 Qwen2-7B-Instruct 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/Qwen2-7B-Instruc...
[大模型]Qwen2-7B-Instruct FastApi 部署调用
FL1623863129的博客
06-15 1102
在 /root/autodl-tmp 路径下新建 model_download.py 文件并在其中输入以下内容，粘贴代码后请及时保存文件，如下图所示。使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 cache_dir 为模型的下载路径。接下来，我们打开刚刚租用服务器的 JupyterLab，如下图所示，然后打开其中的终端，开始环境配置、模型下载和运行演示。下面的代码有很详细的注释，大家如有不理解的地方，欢迎提出 issue。
【LLM】通义千问Qwen2-7b-instruct部署
GEEK-BANANA
09-09 852
通义千问Qwen2-7b部署
【Qwen2微调实战】Lora微调Qwen2-7B-Instruct实践指南_qwen2 lora
HUANGXIN9898的博客
04-14 609
Lora微调是一种基于低秩矩阵的微调方法，它通过在模型的权重矩阵中引入低秩结构来减少参数数量，从而降低模型的存储和计算需求。这种方法在保持模型性能的同时，显著提高了模型的灵活性和适应性。Qwen2-7B-Instruct，一款精心设计的高级预训练语言模型，拥有70亿参数，专注于提升对指令性文本的精准理解和高效生成。它在自然语言处理（NLP）的多个专业领域中，如文本摘要、情感分析、机器翻译等，均展现出了卓越的处理能力和适应性。
Qwen2-7B-Instruct：常见错误及解决方法
gitblog_02800的博客
12-30 629
Qwen2-7B-Instruct：常见错误及解决方法 Qwen2-7B-Instruct 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/Qwen2-7B-Instruct ...
大模型【Qwen2-7B本地部署（WEB版）】（windows）
略知12的博客
07-11 6753
大模型是截止2024年上半年最强的AI，Qwen2是刚出来的号称国内最强开源大模型。这是大模型系列的第一篇文章，旨在快速部署看看最近出来的大模型效果怎么样，效果ok的话就微调自己的GPTs了。
部署 Qwen2.5-VL-32B-Instruct-AWQ 注意部署 Qwen2.5-VL-32B-Instruct 需要什么显卡
最新发布
04-27
<think>好的，用户现在想了解部署Qwen2.5-VL-32B-Instruct-AWQ模型的硬件要求，特别是显卡方面的需求。我需要先回顾一下之前的引用资料，看看有没有相关的信息。 根据引用[2]，用户提到他们使用了一块48G的4090显卡，驱动版本是560.35.03，CUDA版本12.6.1。这说明至少需要一块显存较大的显卡。但用户可能想知道最低配置或推荐的配置。 Qwen2.5-VL-32B是一个32B参数的多模态大模型，AWQ版本可能进行了量化处理，减少了显存占用。通常模型参数和显存的关系大约是每参数需要2字节（16位浮点），所以32B参数大约需要64GB显存。但经过AWQ量化后，可能降低到4位或8位，这样显存需求会减少。比如，4位量化的话，32B参数可能需要大约16GB显存。但实际应用中还需要考虑激活值和中间结果，所以可能需要更大的显存。 引用[2]中用户用了单块4090 48G，这可能意味着即使量化后，模型还是需要较大的显存。而如果使用多块显卡，比如两块，通过模型并行可以分担显存压力。但需要确认模型是否支持分布式推理。 另外，用户可能需要知道其他硬件建议，比如CPU、内存、存储等。内存方面，通常建议是显存的2倍左右，所以如果显存用了48G，内存可能需要96GB以上。存储方面，模型文件大小可能需要几十GB，需要足够的硬盘空间。 还需要考虑推理框架，比如vLLM是否支持AWQ量化，以及其对硬件的优化情况。引用[2]提到了使用vLLM和docker部署，这可能对驱动版本和CUDA有特定要求，比如CUDA 12.1以上。 综合来看，显卡方面至少需要显存足够的GPU，比如4090 24G可能不够，而A100 40G或4090 48G可能更合适。如果显存不足，可能需要多卡。同时，内存、CPU和存储也需要相应配置。 最后，要确保引用的资料正确，比如引用[2]中的配置是否适用，以及是否需要其他依赖项。可能需要建议用户查看官方文档或GitHub仓库获取更详细的硬件要求。</think>### Qwen2.5-VL-32B-Instruct-AWQ 部署硬件配置建议 #### 1. **显卡需求** - **显存要求**： 该模型参数规模为32B（320亿），经过AWQ量化后，**单卡部署至少需要24GB以上显存**。根据引用[2]的实践案例，使用单块NVIDIA RTX 4090 48GB显卡可顺利完成部署和推理。 - **最低配置**：NVIDIA RTX 3090/4090（24GB显存），但需注意推理时可能出现显存不足风险。 - **推荐配置**：NVIDIA A100 40GB/80GB 或 RTX 4090 48GB，确保多模态任务（如图像理解）的稳定运行[^3]。 - **多卡支持**： 若需处理更高复杂度任务（如长序列输入或多轮对话），可通过多卡并行扩展显存。例如，使用2块RTX 4090 48GB显卡，通过vLLM框架实现分布式推理[^2]。 #### 2. **其他硬件配置** - **CPU**：推荐多核高性能CPU（如Intel Xeon或AMD EPYC系列），至少16核以上以支持数据预处理和任务调度。 - **内存**：建议128GB以上DDR4/DDR5内存，避免因内存不足导致进程中断。 - **存储**：模型文件大小约60-80GB（含权重和索引），需预留至少200GB SSD/NVMe存储空间[^1]。 #### 3. **软件依赖** - **CUDA版本**：需CUDA 12.1及以上，与NVIDIA驱动560.35.03+兼容[^2]。 - **推理框架**：建议使用优化后的vLLM框架（支持AWQ量化），可提升吞吐量30%以上[^3]。 #### 4. **典型部署场景** - **单卡推理**：适用于实时性要求中等的场景（如单图分析或短文本生成）。 - **多卡集群**：适用于高并发服务（如多用户在线问答平台）或复杂多模态任务（如视频内容理解）。 --- ###
评论 35
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

开源技术探险家

以微薄之力温暖这个世界

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值