LLM训推适配-[昇腾910B]-大模型量化推理-qwen2-72B

已于 2024-09-04 20:05:30 修改
阅读量2k 收藏 4
点赞数 9
CC 4.0 BY-SA版权
分类专栏： Ascend训推 llm 文章标签： 人工智能 transformer AIGC
于 2024-09-04 20:03:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bmfire/article/details/141902608

LLM训推适配-[昇腾910B]-大模型量化推理

推理框架MindIE
目前支持w8a8/w8a16/w8a16三种量化方式

0.环境介绍

软件 版本
驱动 24.1.rc1
cann 8.0.T37
Ascend-mindie MindIE 1.0.T61.B010
mindie-rt 1.0.T61.B010
mindie-torch 1.0.T61.B010
mindie-service 1.0.T61.B010
mindie-llm 1.0.T61.B010

自建镜像或者使用ascendhub发布的镜像

1.qwen2-72B-Chat w8a16量化


#1. 启动容器
docker run --rm  -it -u root --name=mindie_t61 --net=host --privileged=true -w /home --device=/dev/davinci_manager --device=/dev/devmm_svm --device=/dev/hisi_hdc
最低0.47元/天 解锁文章

200万优质内容无限畅学
华为910b推理Qwen1.5-72b
weixin_41549308的博客
07-12 4142
910b部署推理大模型
主流开源大模型基于Server适配PyTorch NPU推理指导- 推理场景介绍
2403_89344729的博客
11-28 1720
本教程需要使用到的AscendCloud-6.3.910中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。├── ascend_autosmoothquant_adapter # 昇腾量化使用的算子模块。├── ascend_vllm-0.6.0-py3-none-any.whl # 推理安装包。├── vllm_install.patch # 社区昇腾适配的补丁包。
华为昇腾910B通过vllm部署InternVL3-8B教程
kingJamesbond的博客
05-07 1531
VLLM部署deepseek，结合自身进行整理。
LLM实践系列-昇腾910B上进行Qwen2.5推理
xx_nm98的博客
11-03 7729
异构 GPU 支持：支持异构 GPU 资源，当前支持 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种类型的 GPU/NPU多推理后端支持：支持vLLM和推理后端，兼顾生产性能需求与多平台兼容性需求多平台支持：支持 Linux、Windows 和 macOS 平台，覆盖 amd64 和 arm64 架构多模型类型支持：支持 LLM 文本模型、VLM 多模态模型、Embedding 文本嵌入模型 和 Reranker 重排序模型等各种类型的模型多模型仓库支持。
基于昇腾910B部署Qwen3-embedding-8B模型（通过vllm 推理引擎部署）
最新发布
萌新知识小课堂
06-17 1555
国产卡910B基于vllm 拉起Qwen3-embedding-8B 嵌入模型
LLM训推适配-[昇腾910B]-Qwen1.5-72B模型SFT
09-03 1571
昇腾硬件大模型训练迁移。
昇腾910B部署Qwen2-7B-Instruct进行流式输出【pytorch框架】NPU推理
懒惰是科技进步的原始动力
07-05 5809
昇腾适配Qwen2系列模型，包含Qwen1.5系列模型
LLM训推适配-[昇腾910B]-qwen2.5精度测试+高效推理
10-17 4487
昇腾部署qwen2.5大模型，以及相关适配验证。
昇腾大模型推理解决方案MindIE部署
深蓝
09-20 1万+
昇腾大模型推理解决方案MindIE部署笔记，并且分享给大家
国产算力怎么跑大模型？教你在昇腾 910B 上部署 DeepSeek
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-09 1632
本篇文章从工程实战出发，带你完成在 **昇腾 910B 芯片**上部署 DeepSeek 大模型的全流程，包括： - ✅ 从 HuggingFace 格式模型出发，转换为 MindIR 可推理格式 - ✅ 使用 MindSpore 框架加载模型并构建推理循环 - ✅ 封装 FastAPI 接口，实现私有化部署服务化调用 - ✅ 全面调优显存 / 吞吐 / 精度，并规避常见报错与兼容性问题 文章内容完整、结构清晰、可直接落地，**真正解决“没有 A100 也能跑”的问题**。
昇腾910B国产化大模型适配指南
热门推荐
qq_42751565的博客
06-01 1万+
华为910B国产化大模型训练环境安装指南，支持Huggingface模型以及DDP分布式训练框架。
使用启智社区免费昇腾910B部署LLM
qq_44193969的博客
12-23 2494
前段时间想玩玩昇腾，发现华为云上租地GPU服务器，没有最新地cann8.0的镜像，自己折腾了许久，根本无法替换自己的镜像上去，此处省略一万字关于华为云的吐槽。启智社区提供了不少国产厂家的免费算力，接下来，话不多说，开整。
华为昇腾服务器+Atlas300IPro*2 部署Dify+MindIE+Embedding+Rerank实现Qwen2.5-7B全国产化的大模型推理平台
深蓝
09-20 1万+
华为昇腾服务器+Atlas300IPro*2 部署Dify+MindIE+Embedding+Rerank实现Qwen2.5-7B全国产化的大模型推理平台。
基于昇腾NPU910B服务器DeepSeek-R1-0528模型权重BF16精度转INT8精度
qq_43536346的博客
06-14 1124
基于MindStudio ModelSlim量化工具将DeepSeek-R1-0528 权重BF16精度量化为INT8精度
【昇腾】【训练】800TA2-910B使用LLaMA-Factory训练Qwen
weixin_45653525的博客
04-25 1440
LLaMA-Factory使用NPU训练
基于TGI的大模型推理框架适配之昇腾部署
小白菜的博客
01-03 3335
优势支持 continuous batching支持flash-attention 和 Paged Attention支持Safetensors 权重加载支持部署 GPTQ 模型服务（量化）Router和Server是最重要的组件若干个客户端同时请求Web Server的“/generate”服务后，服务端会将这些请求在“Buffer”组件处整合为Batch，并通过gRPC协议转发请求给GPU推理引擎进行计算生成。
DeepSeek专栏3：vLLM×DeepSeek部署指南（鲲鹏+昇腾）
openEuler_的博客
02-22 3149
上期介绍了在鲲鹏 CPU+NVIDIA GPU上部署DeepSeek的流程，本期将会继续介绍在鲲鹏 CPU+昇腾 NPU上通过vLLM框架来部署DeepSeek。
昇腾平台LLM pytorch推理环境搭建
11-23 5010
当前用户下执行npu-smi info是否可以查看到gpu信息，如果不能，则表示驱动安装错误，需要在安装命令加上 --install-for-all。检查NPU是否正常在位可执行lspci | grep d802命令，如果服务器上有 N路NPU，回显N行含“d802”字段，则表示NPU正常在位。资源下载地址：https://www.hiascend.com/developer/download。通过执行npu-smi info命令查看。支持的PyTorch版本。支持的Adapter版本。
在资源受限环境下如何对Qwen2-VL-72B进行模型量化？
03-16
<think>好的，我现在需要回答用户关于在资源受限环境下对Qwen2-VL-72B进行模型量化的具体方法的问题。首先，我需要了解用户的需求，他们可能是在资源有限的情况下希望部署或运行这个大型模型，量化是减小模型大小和计算需求的有效方法。 首先，我应该回顾一下模型量化的基本概念。量化通常指的是将模型中的浮点数参数转换为低位宽的表示，比如从32位浮点数（FP32）转换为8位整数（INT8），从而减少模型的内存占用和计算资源消耗。这对于资源受限的环境尤为重要。 接下来，我需要考虑Qwen2-VL-72B这个模型的具体情况。它是一个72B参数的大模型，属于非常大的模型，常规的量化方法可能需要调整以适应其规模。用户提到的资源受限环境可能包括内存不足、显存限制、计算能力较弱等情况，所以量化方法需要在这些限制下有效。 根据用户提供的引用，特别是引用[2]中提到的AWQ量化方法，这可能是一个可行的方案。AWQ（Activation-aware Weight Quantization）是一种自动化的量化技术，能够保持模型性能的同时减少模型大小。我需要确认AWQ是否适用于Qwen2-VL-72B，或者是否有其他推荐的量化方法。 另外，用户提到了vLLM的升级，可能涉及到推理加速的优化。vLLM是一个高效的推理框架，支持大模型的部署，结合量化可以进一步提升性能。但需要检查vLLM是否支持Qwen2-VL-72B的量化版本，或者是否需要额外的配置。 接下来，具体的步骤可能包括： 1. 安装必要的工具，如autoawq库，如引用[2]中提到的。 2. 下载预训练模型，可能需要从ModelScope获取Qwen2-VL-72B的基础模型。 3. 应用量化方法，如AWQ，进行权重量化。 4. 验证量化后的模型性能，确保精度损失在可接受范围内。 5. 在资源受限环境下部署量化后的模型，可能结合vLLM进行推理加速。 需要注意的是，大模型量化过程中可能会遇到显存不足的问题，尤其是在资源受限的环境中。可能需要采用分层量化或分阶段处理，逐步应用量化以避免内存溢出。此外，量化后的模型可能需要进行测试和微调，以确保其在实际应用中的效果。 用户还可能关心量化后的模型在特定任务上的表现，比如视觉语言任务，Qwen2-VL-72B可能用于多模态任务，因此量化过程中需要特别注意保留多模态特征的能力。可能需要调整量化策略，针对不同层的参数采用不同的量化位宽，或者使用混合精度量化。 此外，资源受限环境下的部署可能涉及模型分割、蒸馏等其他技术，但用户主要询问量化方法，所以应集中在量化步骤上。需要确保提供的步骤详细且可行，同时考虑到可能遇到的问题，如安装依赖失败、显存不足等，并提供相应的解决建议，如调整批量大小、使用内存优化技术等。 总结来说，回答应包括以下几个部分： - 量化方法选择（如AWQ） - 具体实施步骤（安装工具、下载模型、应用量化） - 资源受限环境的优化策略（分层量化、调整配置） - 性能验证和测试 - 可能遇到的问题及解决方法 最后，需要引用提供的参考资料，特别是关于autoawq和vLLM的部分，确保回答的可靠性。同时，生成的相关问题应围绕量化方法、性能影响、优化策略和应用场景展开，帮助用户进一步探索该主题。</think>在资源受限环境下对Qwen2-VL-72B进行模型量化，可采用以下方法： ### 1. **量化方法选择** 推荐使用**AWQ（Activation-aware Weight Quantization）**进行权重量化，该方法通过自动化搜索最优量化比例，在保持模型精度的同时将权重压缩至4-bit或8-bit[^2]。对于72B参数的巨型模型，AWQ能有效降低显存占用至原模型的20%-30%，特别适合GPU显存不足的场景。 ### 2. **具体实施步骤** #### (1) 环境准备 ```bash # 安装量化工具包 pip install autoawq transformers ``` 若遇到CUDA版本冲突，可通过`--extra-index-url`指定兼容的PyTorch版本。 #### (2) 模型加载与配置 ```python from awq import AutoAWQForCausalLM quantizer = AutoAWQForCausalLM.from_pretrained("Qwen/Qwen2-VL-72B", device_map="auto") ``` 建议添加`load_in_4bit=True`参数直接启用4-bit加载。 #### (3) 量化参数优化 ```python quant_config = { "zero_point": True, # 激活零值压缩 "q_group_size": 128, # 分组量化粒度 "w_bit": 4, # 4-bit量化 "version": "GEMM" # 使用矩阵乘法优化版本 } quantizer.quantize(quant_config, export_path="qwen2-vl-72b-awq4") ``` 分组量化粒度$g$的选取需平衡精度和效率，建议通过$g=128$起步测试。 ### 3. **资源受限环境优化** - **显存优化**：启用`gradient_checkpointing`和`flash_attention_2`，可将训练显存降低40%： ```python model = AutoModelForCausalLM.from_pretrained( "qwen2-vl-72b-awq4", use_cache=False, attn_implementation="flash_attention_2" ) ``` - **CPU卸载**：通过`accelerate`库实现显存-内存交换： ```bash accelerate launch --cpu_offload quant_inference.py ``` ### 4. **性能验证** 量化后需测试关键指标： $$ \text{精度损失} \Delta P = \frac{1}{N}\sum_{i=1}^N |P_{\text{orig}}^{(i)} - P_{\text{quant}}^{(i)}| $$ 建议在MMLU、C-Eval等基准测试中控制$\Delta P < 2\%$。 ### 5. **部署建议** - 使用vLLM加速推理： ```python from vllm import LLM llm = LLM("qwen2-vl-72b-awq4", quantization="awq", max_model_len=2048) ``` - 调整并行度参数`tensor_parallel_size=4`可适配多卡环境[^1]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值