使用Lmdeploy将Qwen2-7B量化和加速推理

已于 2024-08-03 11:39:21 修改
阅读量2.2k 收藏 5
点赞数 14
文章标签： 人工智能 python
于 2024-06-17 16:32:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mycomin/article/details/139741575
版权

量化前 53words/s

（设备为50%A100）
使用lmdeploy测试性能

python benchmark_qwen.py 
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████| 4/4 [02:37<00:00, 39.39s/it]
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
Warm up...[1/5]
Warm up...[2/5]
Warm up...[3/5]
Warm up...[4/5]
Warm up...[5/5]
Speed: 53.064 words/s

在这里插入图片描述

lmdeploy量化方法

lmdeploy lite auto_awq /root/models/Qwen2-7B-Instruct --work-dir /root/models/Qwen2-7B-Instruct-4bit
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:05<00:00,  1.45s/it]
Traceback (most recent call last):
  File "/root/.conda/envs/lmdeploy/bin/lmdeploy", line 8, in <module>
    sys.exit(run())
  File "/root/.conda/envs/lmdeploy/lib/python3.10/site-packages/lmdeploy/cli/entrypoint.py", line 26, in run
    args.run(args)
  File "/root/.conda/envs/lmdeploy/lib/python3.10/site-packages/lmdeploy/cli/lite.py", line 131, in auto_awq
    auto_awq(**kwargs)
  File "/root/.conda/envs/lmdeploy/lib/python3.10/site-packages/lmdeploy/lite/apis/auto_awq.py", line 54, in auto_awq
    model, tokenizer, work_dir = calibrate(model, calib_dataset, calib_samples,
  File "/root/.conda/envs/lmdeploy/lib/python3.10/site-packages/lmdeploy/lite/apis/calibrate.py", line 155, in calibrate
    raise RuntimeError(
RuntimeError: Currently, quantification and calibration of Qwen2ForCausalLM are not supported. The supported model types are InternLMForCausalLM, InternLM2ForCausalLM, QWenLMHeadModel, BaiChuanForCausalLM, BaichuanForCausalLM, LlamaForCausalLM.

原因是lmdeploy版本比较低，需要升级到0.4以上的版本

pip install lmdeploy[all]==0.4.2

量化后 312words/s

4bit之后速度提升了6倍

python benchmark_qwen_4bit.py 
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
[WARNING] gemm_config.in is not found; using default GEMM algo                                                                                       
Warm up...[1/5]
Warm up...[2/5]
Warm up...[3/5]
Warm up...[4/5]
Warm up...[5/5]
Speed: 312.444 words/s

显存占用几乎一样，分配了更多kv cache
在这里插入图片描述

对比transformer和Lmdeploy

Lmdeploy测试代码

import datetime
from lmdeploy import pipeline

pipe = pipeline('/root/models/Qwen2-7B-Instruct-4bit')

# warmup
inp = "hello"
for i in range(5):
    print("Warm up...[{}/5]".format(i+1))
    response = pipe([inp])

# test speed
inp = "请介绍一下你自己。"
times = 10
total_words = 0
start_time = datetime.datetime.now()
for i in range(times):
    response = pipe([inp])
    total_words += len(response[0].text)
end_time = datetime.datetime.now()

delta_time = end_time - start_time
delta_time = delta_time.seconds + delta_time.microseconds / 1000000.0
speed = total_words / delta_time
print("Speed: {:.3f} words/s".format(speed))

报错

python benchmark_transformer_qwen2.py 
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
You have loaded an AWQ model on CPU and have a CUDA device available, make sure to set your model on a GPU device in order to run your model.
`low_cpu_mem_usage` was None, now set to True since model is quantized.
Loading checkpoint shards:   0%|                                                                                               | 0/3 [00:00<?, ?it/s]/root/.conda/envs/lmdeploy/lib/python3.10/site-packages/torch/_utils.py:831: UserWarning: TypedStorage is deprecated. It will be removed in the future and UntypedStorage will be the only storage class. This should only matter to you if you are using storages directly.  To access UntypedStorage directly, use tensor.untyped_storage() instead of tensor.storage()
  return self.fget.__get__(instance, owner)()
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00,  8.68it/s]
Warm up...[1/5]
Traceback (most recent call last):
  File "/root/benchmark_transformer_qwen2.py", line 15, in <module>
    response, history = model.chat(tokenizer, inp, history=[])
  File "/root/.conda/envs/lmdeploy/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1695, in __getattr__
    raise AttributeError(f"'{type(self).__name__}' object has no attribute '{name}'")
AttributeError: 'Qwen2ForCausalLM' object has no attribute 'chat'

原因是需要增加chat方法，代码如下

import torch
import datetime
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("/root/models/Qwen2-7B-Instruct", trust_remote_code=True)

# Set `torch_dtype=torch.float16` to load model in float16, otherwise it will be loaded as float32 and cause OOM Error.
model = AutoModelForCausalLM.from_pretrained("/root/models/Qwen2-7B-Instruct", torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()

def chat(tokenizer, ques, history=[], **kw):
    iids = tokenizer.apply_chat_template(
        history + [{'role': 'user', 'content': ques}], 
        add_generation_prompt=1,
    )
    oids = model.generate(
        inputs=torch.tensor([iids]).to(model.device),
        max_new_tokens=512,
    )
    oids = oids[0][len(iids):].tolist()
    if oids[-1] == tokenizer.eos_token_id:
        oids = oids[:-1]
    ans = tokenizer.decode(oids)
    
    return ans


model.chat = chat



# warmup
inp = "hello"
for i in range(5):
    print("Warm up...[{}/5]".format(i+1))
    response = model.chat(tokenizer, inp)

# test speed
inp = "请介绍一下你自己。"
times = 10
total_words = 0
start_time = datetime.datetime.now()
for i in range(times):
    response = model.chat(tokenizer, inp)
    total_words += len(response)
end_time = datetime.datetime.now()

delta_time = end_time - start_time
delta_time = delta_time.seconds + delta_time.microseconds / 1000000.0
speed = total_words / delta_time
print("Speed: {:.3f} words/s".format(speed))

量化前

python benchmark_transformer_qwen2.py 
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████| 4/4 [00:03<00:00,  1.01it/s]
cuda:0
Warm up...[1/5]
Warm up...[2/5]
Warm up...[3/5]
Warm up...[4/5]
Warm up...[5/5]
Speed: 75.586 words/s

量化后速度反而慢了很多

python benchmark_transformer_qwen2.py 
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
You have loaded an AWQ model on CPU and have a CUDA device available, make sure to set your model on a GPU device in order to run your model.
`low_cpu_mem_usage` was None, now set to True since model is quantized.
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00,  8.40it/s]
Warm up...[1/5]
Warm up...[2/5]
Warm up...[3/5]
Warm up...[4/5]
Warm up...[5/5]
Speed: 4.495 words/s

注意 You have loaded an AWQ model on CPU and have a CUDA device available, make sure to set your model on a GPU device in order to run your model. 需要修改代码

model = AutoModelForCausalLM.from_pretrained("/root/models/Qwen2-7B-Instruct-4bit", torch_dtype=torch.float16, trust_remote_code=True).cuda()

改成

model = AutoModelForCausalLM.from_pretrained("/root/models/Qwen2-7B-Instruct-4bit", torch_dtype=torch.float16, trust_remote_code=True, device_map="cuda").cuda()

然后速度快了一些

python benchmark_transformer_qwen2.py 
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.

`low_cpu_mem_usage` was None, now set to True since model is quantized.
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00,  8.40it/s]
Warm up...[1/5]
Warm up...[2/5]
Warm up...[3/5]
Warm up...[4/5]
Warm up...[5/5]
Speed: 60.280 words/s

格式从safetensors变成了bin

在这里插入图片描述
下载Qwen2-7B-Instruct-GPTQ-Int4

huggingface-cli download --resume-download Qwen/Qwen2-7B-Instruct-GPTQ-Int4 --local-dir /root/models/Qwen2-7B-Instruct-GPTQ-Int4/

稍快一点，仍然慢于Qwen2-7B-Instruct

Warm up...[1/5]
Warm up...[2/5]
Warm up...[3/5]
Warm up...[4/5]
Warm up...[5/5]
Speed: 11.385 words/s

Qwen2效率评估参考
https://qwen.readthedocs.io/zh-cn/latest/benchmark/speed_benchmark.html

mybbsss
关注
Docker lmdeploy 快速部署Qwen2.5模型openai接口
q742971636的博客
11-05 806
官方教程文档：https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/llm/api_server.md。我已经把模型下载到/data/xiedong/Qwen2.5-72B-Instruct-GPTQ-Int4。浏览器访问接口文档：http://101.136.8.66:23333。该API类似于OpenAI的Completion API。该API类似于OpenAI的Completion API。获取详细API规范。获取详细API规范。
开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（五）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
01-12 1752
定时任务处理隐藏盲点
使用 lmdeploy 部署 internlm/internlm2_5-7b-chat
engchina的专栏
07-13 1922
使用 lmdeploy 部署 internlm/internlm2_5-7b-chat
使用LMDeploy部署Qwen模型推理服务
12-04 980
这样通过挂载的方式，您的代码就可以访问PVC中的数据或模型。模型压缩与优化：LMDeploy可以对大语言模型进行权重量化和KV量化，减少模型大小和内存占用，同时通过各种优化手段（如张量并行、KV缓存等）提高模型推理的效率和吞吐量。部署便捷性：LMDeploy支持将优化后的模型部署到多种环境，包括单机、多机、多GPU环境等，支持分布式部署，确保服务的可扩展性和高可用性。本文以Qwen1.5-4B-Chat模型为例，演示如何下载模型、上传模型至OSS，以及在ACK集群中创建对应的存储卷PV和存储卷声明PVC。
基于LLaMA-Factory框架对Qwen2-7B模型进行微调实践
最新发布
python123456_的博客
03-21 969
支持包括Qwen2-7B在内的多种大型语言模型。它通过集成如LoRA、QLoRA等先进的微调算法，以及提供丰富的实验监控工具，如LlamaBoard、TensorBoard等，为用户提供了一个便捷、高效的微调环境。此外，LLaMA-Factory还支持多模态训练方法和多硬件平台，包括GPU和Ascend NPU，进一步拓宽了其应用范围。
通过vllm 部署qwen2 模型
weixin_36553595的博客
07-23 716
主要是一个简单测试安装vllmpip 模式安装部分包比较大， 注意时间, 最好使用一个加速, 目前阿里云的似乎有限速了，可以试试清华的https://pypi.tuna.tsinghua.edu.cn/simple登录后复制 python -m venv venv source venv/bin/ac source v...
使用 lmdeploy 部署 Qwen/Qwen2-7B-Instruct
engchina的专栏
07-13 2106
使用 lmdeploy 部署 Qwen/Qwen2-7B-Instruct
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker（二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-06 1万+
通过docker方式实现Qwen2.5-7B-Instruct集成vllm，流式输出
【Qwen2部署实战】部署高效AI模型：使用vLLM进行Qwen2-7B模型推理
寻道AI，探索AI无限可能！
07-08 8222
在当今快速发展的人工智能领域，大型语言模型（LLMs）已成为推动自然语言处理（NLP）任务的关键力量。这些模型以其强大的理解和生成文本的能力而闻名，但同时也因其对计算资源的高需求而备受关注。vLLM作为一个创新的解决方案，旨在简化LLMs的部署流程，提高效率，降低资源消耗。本文将详细介绍如何利用vLLM部署Qwen2-7B模型，并探讨其在离线推理、API服务以及多卡分布式部署中的应用。
开源模型应用落地-qwen1.5-7b-chat与vllm实现推理加速的正确姿势（九）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
03-04 2439
qwen1.5-7b-chat集成vllm，构建与OpenAI-API兼容的API服务
开源模型应用落地-Qwen2-7B-Instruct-GPTQ-Int4与vllm-单机多卡-RTX 4090双卡（十二）
热门推荐
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-07 3万+
4090单机双卡部署vllm，并集成qwen2-7b-instruct-gptq-int4
开发者实战 | 简单两步使用 OpenVINO™ 搞定 Qwen2 的量化与部署任务
OpenVINOCC的博客
04-26 2307
点击蓝字关注我们,让开发变得更有趣作者| 杨亦诚排版| 李擎简单两步使用 OpenVINO™搞定 Qwen2 的量化与部署任务工具介绍英特尔 OpenVINO™ 工具套件是一款开源 AI 推理优化部署的工具套件，可帮助开发人员和企业加速生成式人工智能 (AIGC)、大语言模型、计算机视觉和自然语言处理等 AI 工作负载，简化深度学习推理的开发和部署，便于实现从边缘到云的跨英特尔® 平台的异构执行...
Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人
老牛啊
06-12 1万+
阿里云正式开源通义千问Qwen2系列模型，其中Qwen2-72B成为全球性能最强的开源模型，在全球权威测评中，性能超过美国最强开源模型Llama3-70B，也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。今天老牛同学部署和体验Qwen2-7B中等尺寸模型，包括本地部署、API嗲用和WebUI对话客户端……
【机器学习】QLoRA：基于PEFT亲手量化微调Qwen2大模型
人工智能领域博客
06-13 8663
本文首先对量化和微调的原理进行剖析，接着以Qwen2-7B为例，基于QLoRA、PEFT一步一步带着大家微调自己的大模型，本文参考全网peft+qlora微调教程，一步一排坑，让大家在网络环境不允许的情况下，也能丝滑的开启大模型微调之旅。
ollama大模型qwen2:7b性能测试
百鸣的专栏
06-28 1963
執行脚本：参照一个csdn用户的分享的脚本。仅供参照，转载请注明出处！
通义千问Qwen微调量化实战
IT大头的博客
01-26 4178
本文主要内容是对于Qwen量化实战演练，将深入探讨两种不同的量化方法：分别是使用官方量化后的int4模型进行微调，得到模型理论上也是量化后的微调模型，另一种则是使用官方全量模型进行微调，再将微调后的模型进行自主量化。ps:作者认为如果真实场景使用的话建议使用第一种，第二只是用于了解即可，而且自己去量化模型bug百出，费时费力。
【LMDeploy 大模型量化部署实践——笔记】
YYYYbhjbhkv_的博客
01-25 1166
详细教学讲解视频，请看。
8G 显存玩转书生大模型 Demo
f_ckhell的博客
07-27 298
5.使用 Streamlit 部署 InternLM2-Chat-1.8B 模型。在download_mini.py中写入下面代码。运行成功，输入个“你好，介绍下你自己”运行download_mini.py。向cli_demo.py写入内容。2.创建cli_demo.py。创建文件夹并写入下载代码。
qwen大模型，推理速度慢，单卡/双卡速度慢，flash-attention安装，解决方案
Bean的博客
10-23 1万+
阿里的通义千问qwen大模型，推理速度慢，单卡/双卡速度慢。
Qwen2-7B-Instruct-gptq-int4使用
02-21
### 使用 Qwen2-7B-Instruct-GPTQ-INT4 模型 #### 特点和应用场景 Qwen2-7B-Instruct-INT4 是阿里云推出的一个量化模型，拥有 70 亿个参数并经过指令微调，使其能更有效地理解与执行多种任务。此模型采用 GPTQ 方法进行了 INT4 的量化处理，在保持性能的同时显著降低了计算资源需求[^1]。 这种配置使得该模型特别适合于那些希望利用大型语言模型的强大功能而又受限于硬件条件的应用场景，比如小型服务器上的在线问答系统、移动设备端的文字辅助工具等。 #### 安装依赖库 为了能够在本地环境中顺利部署并使用上述提到的大规模多模态预训练模型——Qwen2-7B-Instruct-Int4，需按照如下命令依次安装所需的Python包： ```bash pip install opencv-python pip install uvicorn pip install fastapi pip install git+https://github.com/huggingface/transformers.git pip install qwen-vl-utils pip install torchvision pip install python-multipart pip install 'accelerate>=0.26.0' pip install optimum pip install auto-gptq ``` 注意：由于 `optimum` 库可能会覆盖之前已有的 `transformers` 版本，因此建议最后再单独更新一次 `transformers` 或者确保其版本是最新的稳定版[^2]。 如果遇到 CUDA 扩展未安装的问题，则可以通过指定特定版本来解决这个问题： ```bash pip install torch==2.2.1 pip install torchvision==0.17.1 pip install auto-gptq==0.7.1 ``` 这些操作可以有效避免因软件兼容性而导致的错误消息 "CUDA extension not installed."[^3]。 #### 推理过程示例 下面给出一段简单的 Python 脚本来展示如何加载已经准备好的 Qwen2-7B-Instruct-GPTQ-INT4 并进行基本的文本生成任务： ```python from transformers import AutoTokenizer, AutoModelForCausalLM import torch tokenizer = AutoTokenizer.from_pretrained("path_to_model") # 替换为实际路径 model = AutoModelForCausalLM.from_pretrained("path_to_model", device_map="auto") input_text = "你好" inputs = tokenizer(input_text, return_tensors='pt').to('cuda') with torch.no_grad(): outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ``` 这段代码展示了从加载模型到输入提示词直至最终获得输出结果的一系列流程。需要注意的是，“path_to_model” 需要被替换为你所下载或克隆下来的 Qwen2-7B-Instruct-GPTQ-INT4 文件夹的具体位置。 对于更加详细的指导以及更多高级特性的介绍，推荐查阅 Hugging Face 上提供的官方文档或是 GitHub 项目页面内的 README.md 文件，那里包含了更为详尽的操作指南和技术细节说明。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值