LMDeploy 量化部署进阶实践

书生大模型实战营(第三期)-LMDeploy 量化部署进阶实践

LMDeploy 量化教程：Tutorial/docs/L2/LMDeploy at camp3 · InternLM/Tutorial · GitHub

1. 基础任务

• 使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话，作业截图需包括显存占用情况与大模型回复。
• 使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用，作业截图需包括大模型回复的工具调用情况。

2. LMDeploy验证启动模型文件

在量化工作正式开始前，需要验证一下获取的模型文件能否正常工作，以免竹篮打水一场空。

conda activate lmdeploy
lmdeploy chat /root/models/internlm2_5-7b-chat

稍待片刻，启动成功后，会显示如下。

lmdeploy serve api_server \
    /root/models/internlm2_5-1_8b-chat \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

可以正常对话，结果如下图：

3. 量化

量化模型：internlm2_5-1_8b-chat

量化前显存：20.6GB

1、在 BF16 精度下，1.8B模型权重占用3.6GB

2、kv cache占用16.32GB：剩余显存24-3.6=20.4GB，kv cache默认占用80%，即20.4*0.8=16.32GB

3、其他项0.7GB

20.6GB=权重占用3.6GB+kv cache占用16.32GB+其它项0.7GB

3.1 设置最大kv cache缓存大小

量化命令如下：

lmdeploy chat /root/models/internlm2_5-7b-chat --cache-max-entry-count 0.4

量化后显存：12.4GB

1、在 BF16 精度下，1.8B模型权重占用3.6GB

2、kv cache占用8.16GB：剩余显存24-3.6=20.4GB，kv cache修改占用为40%，即20.4*0.4=8.16GB

3、其他项0.7GB

12.4GB=权重占用3.6GB+kv cache占用8.16GB+其它项0.7GB

3.2 W4A16 模型量化和部署

量化命令如下：

lmdeploy lite auto_awq \
   /root/models/internlm2_5-1_8b-chat \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --batch-size 1 \
  --search-scale False \
  --work-dir /root/models/internlm2_5-1_8b-chat-w4a16-4bit

原模型：3.6GB

量化后模型：1.5GB

量化后显存：20.2GB

1、在量化后，1.8B模型权重占用1.5GB

2、kv cache占用18GB：剩余显存24-1.5=22.5GB，kv cache默认占用为80%，即22.5*0.8=18GB

3、其他项0.7GB

20.2GB=权重占用1.5GB+kv cache占用18GB+其它项0.7GB

量化后对话

3.3 W4A16 模型量化+KV量化

命令如下：

lmdeploy serve api_server \
    /root/models/internlm2_5-1_8b-chat-w4a16-4bit/ \
    --model-format awq \
    --quant-policy 4 \
    --cache-max-entry-count 0.4\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

量化后显存：11.3GB

1、在量化后，1.8B模型权重占用1.5GB

2、kv cache占用18GB：剩余显存24-1.5=22.5GB，kv cache修改占用为80%，即22.5*0.4=9GB

3、其他项0.7GB

11.3GB=权重占用1.5GB+kv cache占用9GB+其它项0.7GB左右

4. API+Python调用

同前一步，API已OK

运行

conda activate lmdeploy
python /root/internlm2_5.py

5. Function call

同前一步，API已OK

运行

python /root/internlm2_5_func.py

我们可以看出InternLM2.5将输入'Compute (3+5)*2'根据提供的function拆分成了"加"和"乘"两步，第一步调用function add实现加，再于第二步调用function mul实现乘，再最终输出结果16.