LMDeploy 量化部署进阶实践-进阶

已于 2024-08-17 14:42:45 修改
阅读量661 收藏 26
点赞数 27
文章标签： linux 运维 服务器
于 2024-08-17 12:00:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wtt88/article/details/141276399
版权

.1 配置基础环境

在资源配置中， 30% A100 * 1 的选项，如果使用10% A100 * 1，无法运行。

1.2InternStudio环境获取模型
mkdir /root/models
ln -s /root/share/new_models//Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/models
ln -s /root/share/new_models/OpenGVLab/InternVL2-26B /root/models

1.3 LMDeploy验证启动模型文件

让我们进入创建好的conda环境并启动InternLM2_5-7b-chat！

conda activate demo
lmdeploy chat /root/models/internlm2_5-7b-chat

稍待片刻，启动成功后，会显示如下。

和InternLM2.5尽情对话了，注意输入内容完成后需要按两次回车才能够执行，以下为示例。

InternStudio提供的资源监控。

由上文可知InternLM2.5 7B模型为bf16，LMDpeloy推理精度为bf16的7B模型权重需要占用14GB显存；如下图所示，lmdeploy默认设置cache-max-entry-count为0.8，即kv cache占用剩余显存的80%；

此时对于24GB的显卡，即30%A100，权重占用14GB显存，剩余显存24-14=10GB，因此kv cache占用10GB*0.8=8GB，加上原来的权重14GB，总共占用14+8=22GB。

LMDeploy与InternLM2.5

2.1 LMDeploy API部署InternLM2.5

将大模型封装为API接口服务，供客户端访问。

2.1.1 启动API服务器

conda activate demo
lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

我们在 本地 的 PowerShell 中输入如下指令来进行端口映射：

 ssh -CNg -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的ssh端口号

2.1.2 以命令行形式连接API服务器

关闭http://127.0.0.1:23333网页，但保持终端和本地窗口不动，重新新建一个终端。

运行如下命令，激活conda环境并启动命令行客户端。

conda activate demo
lmdeploy serve api_client http://localhost:23333

等出现double enter to end input >>>的输入提示即启动成功，此时便可以随意与InternLM2.5对话，同样是两下回车确定，输入exit退出。

2.1.3 以Gradio网页形式连接API服务器

lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

进行安装gradio

在你本地打开一个cmd或powershell窗口，输入命令如下。

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p <你的ssh端口号>

打开浏览器，访问地址http://127.0.0.1:6006，然后就可以与模型尽情对话了。

2.2 LMDeploy Lite

LMDeploy 提供了权重量化和 k/v cache两种策略。

2.2.1 设置最大kv cache缓存大小

模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。LMDeploy的kv cache管理器可以通过设置--cache-max-entry-count参数，控制kv缓存占用剩余显存的最大比例。默认的比例为0.8。

首先我们先来回顾一下InternLM2.5正常运行时占用显存。

占用了23GB，那么试一试执行以下命令，再来观看占用显存情况。

lmdeploy chat /root/models/internlm2_5-7b-chat --cache-max-entry-count 0.4

让我们计算一下4GB显存的减少缘何而来，

对于修改kv cache默认占用之前，即如1.3 LMDeploy验证启动模型文件所示直接启动模型的显存占用情况(23GB)：

1、在 BF16 精度下，7B模型权重占用14GB：70×10^9 parameters×2 Bytes/parameter=14GB

2、kv cache占用8GB：剩余显存24-14=10GB，kv cache默认占用80%，即10*0.8=8GB

3、其他项1GB

是故23GB=权重占用14GB+kv cache占用8GB+其它项1GB

对于修改kv cache占用之后的显存占用情况(19GB)：

1、与上述声明一致，在 BF16 精度下，7B模型权重占用14GB

2、kv cache占用4GB：剩余显存24-14=10GB，kv cache修改为占用40%，即10*0.4=4GB

3、其他项1GB

是故19GB=权重占用14GB+kv cache占用4GB+其它项1GB

而此刻减少的4GB显存占用就是从10GB*0.8-10GB*0.4=4GB，这里计算得来。

2.2.2 设置在线 kv cache int4/int8 量化

我们通过2.1 LMDeploy API部署InternLM2.5的实践为例，输入以下指令，启动API服务器。

lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 4 \
    --cache-max-entry-count 0.4\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

可以看到此时显存占用约19GB，相较于1.3 LMDeploy验证启动模型文件直接启动模型的显存占用情况(23GB)减少了4GB的占用。此时4GB显存的减少逻辑与2.2.1 设置最大kv cache缓存大小中4GB显存的减少一致，均因设置kv cache占用参数cache-max-entry-count至0.4而减少了4GB显存占用。

2.2.3 W4A16 模型量化和部署

W4A16的量化配置意味着：

  • 权重被量化为4位整数。

  • 激活保持为16位浮点数。

让我们回到LMDeploy，在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。输入以下指令，执行量化工作。(本步骤耗时较长，请耐心等待)

lmdeploy lite auto_awq \
   /root/models/internlm2_5-7b-chat \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --batch-size 1 \
  --search-scale False \
  --work-dir /root/models/internlm2_5-7b-chat-w4a16-4bit

等待推理完成，便可以直接在你设置的目标文件夹看到对应的模型文件。

那么推理后的模型和原本的模型区别在哪里呢？最明显的两点是模型文件大小以及占据显存大小。

我们可以输入如下指令查看在当前目录中显示所有子目录的大小。

cd /root/models/
du -sh *

那么原模型大小呢？输入以下指令查看。

cd /root/share/new_models/Shanghai_AI_Laboratory/
du -sh *

终端输出结果如下。

一经对比即可发觉，15G对4.9G，优势在我。

那么显存占用情况对比呢？输入以下指令启动量化后的模型。

lmdeploy chat /root/models/internlm2_5-7b-chat-w4a16-4bit/ --model-format awq

可以发现，相比较于原先的23GB显存占用，W4A16量化后的模型少了约2GB的显存占用。

4A16量化之后的显存占用情况(20.9GB)：

1、在 int4 精度下，7B模型权重占用3.5GB：14/4=3.5GB

注释：

  • bfloat16是16位的浮点数格式，占用2字节（16位）的存储空间。int4是4位的整数格式，占用0.5字节（4位）的存储空间。因此，从bfloat16到int4的转换理论上可以将模型权重的大小减少到原来的1/4，即7B个int4参数仅占用3.5GB的显存。

2、kv cache占用16.4GB：剩余显存24-3.5=20.5GB，kv cache默认占用80%，即20.5*0.8=16.4GB

3、其他项1GB

是故20.9GB=权重占用3.5GB+kv cache占用16.4GB+其它项1GB

2.2.4 联合部署

我们只需要将我们推理好的模型使用kv cache量化就可以了！

输入以下指令，让我们同时启用量化后的模型和kv cache量化。

lmdeploy chat \
/root/models/internlm2_5-7b-chat-w4a16-4bit/ \
--model-format awq \
--cache-max-entry-count 0.4

观测显存占用情况，看到此时只需要约13GB的显存，已经是一张消费级显卡即可部署的模型了。

那让我们挑战一下极限，直接看看极限显存只需要多少。

输入指令。

lmdeploy chat \
/root/models/internlm2_5-7b-chat-w4a16-4bit/ \
--model-format awq \
--cache-max-entry-count 0.01

观测显存占用情况，可以说约6GB的显存占用属于逆天级别的压缩。

大家可以自行探索在几乎等于禁用kv cache后，模型输出与正常情况下的区别。

我们再来测试一下在线 kv cache int4/int8 量化的情况，输入以下指令。

lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat-w4a16-4bit/ \
    --model-format awq \
    --quant-policy 4 \
    --cache-max-entry-count 0.4\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

此时显存占用13.9GB，与之前相同。

让我们来计算一下此刻的显存占用情况(13.9GB)：

1、在 int4 精度下，7B模型权重占用3.9GB：14/4=3.9GB

2、kv cache占用16.4GB：剩余显存24-3.9=20.5GB，kv cache占用40%，即20.5*0.4=8.2GB

3、其他项1.8GB

是故13.9GB=权重占用3.9GB+kv cache占用8.2GB+其它项1.8GB

 

LMDeploy与InternVL2

3.1 LMDeploy Lite

针对InternVL系列模型，让我们先进入conda环境，并输入以下指令，执行模型的量化工作。(本步骤耗时较长，请耐心等待)

conda activate demo
lmdeploy lite auto_awq \
   /root/models/InternVL2-26B \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --batch-size 1 \
  --search-scale False \
  --work-dir /root/models/InternVL2-26B-w4a16-4bit

3.1.2 联合部署

现在就能体现出我们联合部署的好处了，我们只需要将已经推理好的模型设置kv cache占用就能够大大减少显存需求。输入以下指令，让我们启用量化后的模型。

lmdeploy serve api_server \
    /root/models/InternVL2-26B-w4a16-4bit \
    --model-format awq \
    --quant-policy 4 \
    --cache-max-entry-count 0.1\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

3.2 LMDeploy API部署InternVL2

通过以下命令启动API服务器，部署InternVL2模型：

lmdeploy serve api_server \
    /root/models/InternVL2-26B-w4a16-4bit/ \
    --model-format awq \
    --quant-policy 4 \
    --cache-max-entry-count 0.6 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

 

LMDeploy之FastAPI与Function call

4.1 API开发

conda activate demo
lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat-w4a16-4bit \
    --model-format awq \
    --cache-max-entry-count 0.4 \
    --quant-policy 4 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

在新建终端中输入如下指令，新建internlm2_5.py。 

touch /root/demo/internlm2_5.py

将以下内容复制粘贴进internlm2_5.py。 

# 导入openai模块中的OpenAI类，这个类用于与OpenAI API进行交互
from openai import OpenAI


# 创建一个OpenAI的客户端实例，需要传入API密钥和API的基础URL
client = OpenAI(
    api_key='YOUR_API_KEY',  
    # 替换为你的OpenAI API密钥，由于我们使用的本地API，无需密钥，任意填写即可
    base_url="http://0.0.0.0:23333/v1"  
    # 指定API的基础URL，这里使用了本地地址和端口
)

# 调用client.models.list()方法获取所有可用的模型，并选择第一个模型的ID
# models.list()返回一个模型列表，每个模型都有一个id属性
model_name = client.models.list().data[0].id

# 使用client.chat.completions.create()方法创建一个聊天补全请求
# 这个方法需要传入多个参数来指定请求的细节
response = client.chat.completions.create(
  model=model_name,  
  # 指定要使用的模型ID
  messages=[  
  # 定义消息列表，列表中的每个字典代表一个消息
    {"role": "system", "content": "你是一个友好的小助手，负责解决问题."},  
    # 系统消息，定义助手的行为
    {"role": "user", "content": "帮我讲述一个关于狐狸和西瓜的小故事"},  
    # 用户消息，询问时间管理的建议
  ],
    temperature=0.8,  
    # 控制生成文本的随机性，值越高生成的文本越随机
    top_p=0.8  
    # 控制生成文本的多样性，值越高生成的文本越多样
)

# 打印出API的响应结果
print(response.choices[0].message.content)

现在让我们在新建终端输入以下指令激活环境并运行python代码。

conda activate demo
python /root/demo/internlm2_5.py

终端会输出如下结果。

此时代表我们成功地使用本地API与大模型进行了一次对话，如果切回第一个终端窗口，会看到如下信息，这代表其成功的完成了一次用户问题GET与输出POST。

4.2 Function call

函数调用功能，它允许开发者在调用模型时，详细说明函数的作用，并使模型能够智能地根据用户的提问来输入参数并执行函数。完成调用后，模型会将函数的输出结果作为回答用户问题的依据。

首先让我们进入创建好的conda环境并启动API服务器。

conda activate demo
lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

目前LMDeploy在0.5.3版本中支持了对InternLM2, InternLM2.5和llama3.1这三个模型，故我们选用InternLM2.5 封装API。

让我们使用一个简单的例子作为演示。输入如下指令，新建internlm2_5_func.py。

touch /root/demo/internlm2_5_func.py

双击打开，并将以下内容复制粘贴进internlm2_5_func.py。

from openai import OpenAI


def add(a: int, b: int):
    return a + b


def mul(a: int, b: int):
    return a * b


tools = [{
    'type': 'function',
    'function': {
        'name': 'add',
        'description': 'Compute the sum of two numbers',
        'parameters': {
            'type': 'object',
            'properties': {
                'a': {
                    'type': 'int',
                    'description': 'A number',
                },
                'b': {
                    'type': 'int',
                    'description': 'A number',
                },
            },
            'required': ['a', 'b'],
        },
    }
}, {
    'type': 'function',
    'function': {
        'name': 'mul',
        'description': 'Calculate the product of two numbers',
        'parameters': {
            'type': 'object',
            'properties': {
                'a': {
                    'type': 'int',
                    'description': 'A number',
                },
                'b': {
                    'type': 'int',
                    'description': 'A number',
                },
            },
            'required': ['a', 'b'],
        },
    }
}]
messages = [{'role': 'user', 'content': 'Compute (3+5)*2'}]

client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
    model=model_name,
    messages=messages,
    temperature=0.8,
    top_p=0.8,
    stream=False,
    tools=tools)
print(response)
func1_name = response.choices[0].message.tool_calls[0].function.name
func1_args = response.choices[0].message.tool_calls[0].function.arguments
func1_out = eval(f'{func1_name}(**{func1_args})')
print(func1_out)

messages.append({
    'role': 'assistant',
    'content': response.choices[0].message.content
})
messages.append({
    'role': 'environment',
    'content': f'3+5={func1_out}',
    'name': 'plugin'
})
response = client.chat.completions.create(
    model=model_name,
    messages=messages,
    temperature=0.8,
    top_p=0.8,
    stream=False,
    tools=tools)
print(response)
func2_name = response.choices[0].message.tool_calls[0].function.name
func2_args = response.choices[0].message.tool_calls[0].function.arguments
func2_out = eval(f'{func2_name}(**{func2_args})')
print(func2_out)

现在让我们输入以下指令运行python代码。

python /root/demo/internlm2_5_func.py

 

我们可以看出InternLM2.5将输入'Compute (3+5)*2'根据提供的function拆分成了"加"和"乘"两步，第一步调用function add实现加，再于第二步调用function mul实现乘，再最终输出结果16.

wtt88
关注
  • 27
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【深度学习】InternVL2-8B，图转文，docker部署
q742971636的博客
07-17 608
执行这个代码可以开启一个fastapi接口，7860端口会被docker映射到7895.InternVL2-26B应该更好，但显存没那么大，只能跑InternVL2-8B了。
面向量化交易的Python进阶
11-07
面向量化交易的Python进阶，通俗易懂，简单易学，能灵活应用
InternVL2 Docker 镜像使⽤说明
人工智能曾小健
08-05 743
这部分⽤于告诉 Docker 运⾏的容器可以访问所有可⽤的 GPU。本⽂旨在为⽤⼾提供⼀个⽅便的⽅式来配置所需的 Python 环境，以便运⾏InternVL2。Docker，⽤⼾可以在隔离的容器中轻松设置和管理依赖项，⽆需担⼼与系统环境的冲突或其他依赖问。如果您的容器需要通过代理访问互联⽹，可以在此设置代理地址。⾸先，在有互联⽹连接的机器上构建 Docker 镜像。步骤 1：在本地机器上加载 Docker 镜像。问，⽤于指定要使⽤的 CUDA 设备编号。这是⽤于运⾏容器的 Docker 命令。
Cli Demo、Streamlit Web Demo部署 InternLM2-Chat-1.8B 模型
qq_62780581的博客
08-05 307
使用 Cli Demo 完成 InternLM2-Chat-1.8B 模型的部署，并生成 300 字小故事，记录复现过程并截图。
卷卷卷！新的开源多模态大模型王者来啦，从量化到部署用 lmdeploy 把它运行起来吧
arkohut的博客
07-09 1008
上海人工智能实验室最近发布了一系列的开源模型，这次我就介绍下怎么使用 lmdeploy 去部署 InternVL2 8B 多模态模型。之所以使用 8B 的这个模型（而不是其他的尺寸的模型）有两个原因，第一、8B 的模型使用了最新的 internlm 2.5 7B，第二、8B 的规模刚好可以在一个 24G 显存的消费显卡里运行起来。下一个尺寸的模型就是 26B 的了，已经不太好在消费显卡上运行了。
（第三期）书生大模型实战营——LMDeploy量化部署进阶实践
a_blade_of_grass的博客
08-12 738
教程原文在。
进阶岛 - LMDeploy 量化部署进阶实践
纸上得来终觉浅 绝知此事要躬行
08-17 588
注释：实验室提供的环境为虚拟化的显存，nvidia-smi是NVIDIA GPU驱动程序的一部分，用于显示NVIDIA GPU的当前状态，故当前环境只能看80GB单卡 A100 显存使用情况，无法观测虚拟化后30%或50%A100等的显存情况。也就是说，虽然使用的显存相同，但是cache可以容纳的kv数却多了4倍。让我们回到LMDeploy，在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。也就是说，这个量化指的是cache中保存的数据量化，而不是模型权重的量化。
L2-LMDeploy 量化部署进阶实践
weixin_51449774的博客
08-19 763
模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。本次实践选用InternVL2-26B进行演示，其实就根本来说作为一款VLM和上述的InternLM2.5在操作上并无本质区别，仅是多出了"图片输入"这一额外步骤，但作为量化部署进阶实践，选用InternVL2-26B目的是带领大家体验一下LMDeploy的量化部署可以做到何种程度。int4是4位的整数格式，占用0.5字节（4位）的存储空间。(本步骤耗时较长，预计6h，请耐心等待)
进阶岛 LMDeploy 量化部署进阶实践
cgq081616的专栏
08-17 963
一、任务价绍二、根据教程，搭建环境2.1、InternStudio环境获取模型2.2、请帮我生成大禹治水的小故事2.3、占显存说明由InternLM2.5 7B模型为bf16，LMDpeloy推理精度为bf16的7B模型权重需要占用显存；如下图所示，lmdeploy默认设置cache-max-entry-count为0.8，即kv cache占用剩余显存的80%；此时对于24GB的显卡，即，权重占用显存，剩余显存，因此kv cache占用，加上原来的权重，总共占用。而对于40GB的显卡，即。
L2-LMDeploy 量化部署进阶实践-任务
最新发布
soul_sniper的博客
08-22 492
本次实践选用InternVL2-26B进行演示，其实就根本来说作为一款VLM和上述的InternLM2.5在操作上并无本质区别，仅是多出了"图片输入"这一额外步骤，但作为量化部署进阶实践，选用InternVL2-26B目的是带领大家体验一下LMDeploy的量化部署可以做到何种程度。在终端中，让我们输入以下指令，来创建一个名为lmdeploy的conda环境，python版本为3.10，创建成功后激活环境并安装0.5.3版本的lmdeploy及相关包。在上一章节，我们直接在本地部署InternLM2.5。
富士康企业集团IE进阶培训--制造过程质量控制.ppt
09-16
富士康企业集团的IE（Industrial Engineering）进阶培训聚焦于制造过程质量控制，这是确保生产效率和产品质量的关键环节。该培训分为三个主要部分：工序能力分析、工序控制以及质量管理新方法简介。 **工序能力分析...
品管新七大手法-管理工具之进阶学习--ZXF312.pptx
09-23
【品管新七大手法】是质量管理领域的一种进阶学习工具，源自日本科学技术连盟在70年代提出的管理理念。这些手法旨在提升团队的协作效率和问题解决能力，以实现更高质量的产品和服务。以下是对每种手法的详细说明： ...
05-14 周二 LMdeploy 部署量化和实战
05-16
内容为使用lmdeploy进行部署，量化和推理的整体描述，并且基于服务器进行了实践
算法部署-使用TensorRT部署FastBEV算法-优质算法部署项目实战.zip
03-05
在本项目中，我们将深入探讨如何使用TensorRT部署FastBEV算法，这是一个高效的算法部署案例，旨在提升自动驾驶领域的三维理解性能。TensorRT是一款由NVIDIA开发的高性能深度学习推理（Inference）优化器和运行时，它...
多进程和多线程基础概念LINUX
2301_79109608的博客
08-22 880
直接访问物理地址,会导致地址空间没有隔离,很容易导致数据被修改通过虚拟地址空间可以实现每个进程空间都是独立的，操作系统会映射到不用的物理地址区间，在访问时互不干扰.进程状态分为三个基本状态，即运行态，就绪态，阻塞态。在五态模型中，进程分为新建态、终止态，运行态，就绪态，阻塞态。并发：有限的 cpu 核芯的情况下 ,利用快速交替(时间片轮转)执行来达到宏观上的同时执行。虚拟地址 : 虚拟地址并不代表真实的内存空间,而是一个用于寻址的编号。并行：在 cpu 多核的支持下，实现物理上的同时执行。
Linux中信号量相关接口及环形队列
2301_77479435的博客
08-22 197
Linux中信号量相关接口及环形队列
windows上传的文本在linux执行不了，格式转换
mengbing1990的博客
08-19 297
在windows编辑的文件脚本上传到linux里面执行不了，进行格式转换
Linux--C语言之动态内存分配
2201_75773226的博客
08-18 1156
void：是空类型，是数据类型的一种void*：是指针类型，是指针类型的一种，可以匹配任意类型的指针，类似于通配符。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值