【书生大模型实战营】LMDeploy 量化部署进阶实践

最新推荐文章于 2024-08-21 13:24:32 发布
最新推荐文章于 2024-08-21 13:24:32 发布
阅读量665 收藏 18
点赞数 18
分类专栏： LLM学习 文章标签： LLM 深度学习 大语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41234663/article/details/141216827
版权

LMDeploy 量化部署进阶实践

【书生大模型实战营】LMDeploy 量化部署进阶实践

任务

  • 使用结合W4A16量化与kv cache量化的internlm2_5-7b-chat模型封装本地API并与大模型进行一次对话，作业截图需包括显存占用情况与大模型回复，参考4.1 API开发(优秀学员必做)
  • 使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用，作业截图需包括大模型回复的工具调用情况，参考4.2 Function call(选做)

环境

说明：对于一个7B（70亿）参数的模型，每个参数使用16位浮点数（等于 2个 Byte）表示，则模型的权重大小约为：

70×10^9 parameters×2 Bytes/parameter=14GB

70亿个参数×每个参数占用2个字节=14GB

使用上一节创建好的agent环境，然后安装一些依赖：

conda activate agent_camp3
pip install timm==1.0.8 openai==1.40.3 lmdeploy[all]==0.5.3

然后设置要用到模型文件的软链接：

ln -s /root/share/new_models//Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/model
ln -s /root/share/new_models/OpenGVLab/InternVL2-26B /root/model

然后对InternLM2_5-7b-chat进行部署验证：

lmdeploy chat /root/model/internlm2_5-7b-chat

结果如下：
在这里插入图片描述
此时显存占用是接近23G：
在这里插入图片描述

将大模型封装为API接口服务

以InternLM2.5为例，在vscode命令行运行如下命令：

lmdeploy serve api_server \
    /root/model/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

其中：

  • quant-policy：这个参数指定了量化策略。
  • tp：这个参数表示并行数量（GPU数量）。
  • model-format：这个参数指定了模型的格式。hf代表“Hugging Face”格式。

得到如下界面，是一个FastAPI请求格式的命令说明：
在这里插入图片描述

以命令行形式连接API服务器

新建一个命令行窗口，运行：

lmdeploy serve api_client http://localhost:23333

得到如下结果：
在这里插入图片描述
上面API界面回应如下：
在这里插入图片描述
此时调用了/v1/chat/interactive这个接口。

以Gradio网页形式连接API服务器

退出上面创建的命令行终端，输入以下命令，使用Gradio作为前端，启动网页：

lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

结果如下：
在这里插入图片描述

LMDeploy Lite和InternLM

kv cache

在使用lmdeploy chat /root/models/internlm2_5-7b-chat，引入cache-max-entry-count变量设置，控制kv缓存占用剩余显存的最大比例，默认值为0.8，如：

lmdeploy chat /root/model/internlm2_5-7b-chat --cache-max-entry-count 0.4

这个命令是在命令行和模型进行交互的，此时显存占用只有19G，跟0.8相比减少了4G。
在这里插入图片描述

在线 kv cache int4/int8 量化：创建API服务时使用KV cache nt4/int8 量化，就是将kv cache的存储类型用int4或者int8代替。通过设定 quant_policy 和cache-max-entry-count参数：

  • quant_policy ：qant_policy=4 表示 kv int4 量化，quant_policy=8 表示 kv int8 量化
  • cache-max-entry-count：kv cache比例
lmdeploy serve api_server \
    /root/model/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 4 \
    --cache-max-entry-count 0.4\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

这个命令是通过接口的方式和大模型进行交互的。相比使用BF16精度的kv cache，int4的Cache可以在相同4GB的显存下只需要4位来存储一个数值，而BF16需要16位。这意味着int4的Cache可以存储的元素数量是BF16的四倍。

此时占用的显存为：
在这里插入图片描述

W4A16 模型量化和部署

模型量化是一种优化技术，旨在减少机器学习模型的大小并提高其推理速度。量化通过将模型的权重和激活从高精度（如16位浮点数）转换为低精度（如8位整数、4位整数、甚至二值网络）来实现。

W4A16的量化配置意味着：

  • 权重被量化为4位整数。
  • 激活保持为16位浮点数。

使用如下命令执行量化：

lmdeploy lite auto_awq \
   /root/model/internlm2_5-7b-chat \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --batch-size 1 \
  --search-scale False \
  --work-dir /root/model/internlm2_5-7b-chat-w4a16-4bit

相关参数解释如下：

  • lmdeploy lite auto_awq：启动量化，auto_awq代表自动权重量化（auto-weight-quantization）
  • calib-dataset 'ptb': 这个参数指定了一个校准数据集
  • w-bits 4: 这表示权重（weights）的位数将被量化为4位。
  • work-dir: 这是工作目录的路径，用于存储量化后的模型和中间结果。

如果出现错误The repository for ptb_text_only contains custom code which must be executed to correctly load the dataset.，添加如下指令：

export HF_ENDPOINT=https://hf-mirror.com

W4A16 量化+ KV cache+KV cache 量化

使用如下命令，将这些方案全部使用（时间比较长，大概5个多小时）：

lmdeploy serve api_server \
    /root/model/internlm2_5-7b-chat-w4a16-4bit/ \
    --model-format awq \
    --quant-policy 4 \
    --cache-max-entry-count 0.4\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

注意这里使用的模型是W4A16量化后的模型，同时model-format参数也变成了awq，不是hf了。

最终得到的模型大小为：
在这里插入图片描述
只有4.9G了，而原始模型的大小有15G。
然后使用如下命令运行模型：

lmdeploy chat /root/model/internlm2_5-7b-chat-w4a16-4bit/ --model-format awq

LMDeploy与InternVL2

进行InternVL2的W4A16量化（大概10个小时），代码为：

lmdeploy lite auto_awq \
   /root/model/InternVL2-26B \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --batch-size 1 \
  --search-scale False \
  --work-dir /root/model/InternVL2-26B-w4a16-4bit

然后使用如下命令启用API服务：

lmdeploy serve api_server \
    /root/model/InternVL2-26B-w4a16-4bit \
    --model-format awq \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

不过这个30%的跑不起来，显存会爆，需要使用50%的。

LMDeploy之FastAPI与Function call

API开发

先启动API服务：

lmdeploy serve api_server \
    /root/model/internlm2_5-7b-chat-w4a16-4bit \
    --model-format awq \
    --cache-max-entry-count 0.4 \
    --quant-policy 4 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

然后创建internlm2_5.py文件，将如下内容粘贴：

# 导入openai模块中的OpenAI类，这个类用于与OpenAI API进行交互
from openai import OpenAI


# 创建一个OpenAI的客户端实例，需要传入API密钥和API的基础URL
client = OpenAI(
    api_key='YOUR_API_KEY',  
    # 替换为你的OpenAI API密钥，由于我们使用的本地API，无需密钥，任意填写即可
    base_url="http://0.0.0.0:23333/v1"  
    # 指定API的基础URL，这里使用了本地地址和端口
)

# 调用client.models.list()方法获取所有可用的模型，并选择第一个模型的ID
# models.list()返回一个模型列表，每个模型都有一个id属性
model_name = client.models.list().data[0].id

# 使用client.chat.completions.create()方法创建一个聊天补全请求
# 这个方法需要传入多个参数来指定请求的细节
response = client.chat.completions.create(
  model=model_name,  
  # 指定要使用的模型ID
  messages=[  
  # 定义消息列表，列表中的每个字典代表一个消息
    {"role": "system", "content": "你是一个友好的小助手，负责解决问题."},  
    # 系统消息，定义助手的行为
    {"role": "user", "content": "帮我讲述一个关于狐狸和西瓜的小故事"},  
    # 用户消息，询问时间管理的建议
  ],
    temperature=0.8,  
    # 控制生成文本的随机性，值越高生成的文本越随机
    top_p=0.8  
    # 控制生成文本的多样性，值越高生成的文本越多样
)

# 打印出API的响应结果
print(response.choices[0].message.content)

然后新建一个命令行窗口，运行python internlm2_5.py，得到如下结果：
在这里插入图片描述
API服务开启界面的反应：
在这里插入图片描述

Function call

启动没有量化的模型（使用量化的后面调用函数会报错 'NoneType' object is not subscriptable）：

lmdeploy serve api_server \
    /root/model/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

抱持API服务的窗口不变，继续创建internlm2_5_func.py文件，内容如下：

from openai import OpenAI


def add(a: int, b: int):
    return a + b


def mul(a: int, b: int):
    return a * b


tools = [{
    'type': 'function',
    'function': {
        'name': 'add',
        'description': 'Compute the sum of two numbers',
        'parameters': {
            'type': 'object',
            'properties': {
                'a': {
                    'type': 'int',
                    'description': 'A number',
                },
                'b': {
                    'type': 'int',
                    'description': 'A number',
                },
            },
            'required': ['a', 'b'],
        },
    }
}, {
    'type': 'function',
    'function': {
        'name': 'mul',
        'description': 'Calculate the product of two numbers',
        'parameters': {
            'type': 'object',
            'properties': {
                'a': {
                    'type': 'int',
                    'description': 'A number',
                },
                'b': {
                    'type': 'int',
                    'description': 'A number',
                },
            },
            'required': ['a', 'b'],
        },
    }
}]
messages = [{'role': 'user', 'content': 'Compute (3+5)*2'}]

client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
    model=model_name,
    messages=messages,
    temperature=0.8,
    top_p=0.8,
    stream=False,
    tools=tools)
print(response)
func1_name = response.choices[0].message.tool_calls[0].function.name
func1_args = response.choices[0].message.tool_calls[0].function.arguments
func1_out = eval(f'{func1_name}(**{func1_args})')
print(func1_out)

messages.append({
    'role': 'assistant',
    'content': response.choices[0].message.content
})
messages.append({
    'role': 'environment',
    'content': f'3+5={func1_out}',
    'name': 'plugin'
})
response = client.chat.completions.create(
    model=model_name,
    messages=messages,
    temperature=0.8,
    top_p=0.8,
    stream=False,
    tools=tools)
print(response)
func2_name = response.choices[0].message.tool_calls[0].function.name
func2_args = response.choices[0].message.tool_calls[0].function.arguments
func2_out = eval(f'{func2_name}(**{func2_args})')
print(func2_out)

得到的结果如下：
在这里插入图片描述
这种工具感觉会根据函数自动对指令进行分析，将(3+5)2分成了(3+5)和82。

任务记录

使用如下命令开启量化后模型的API服务：

lmdeploy serve api_server \
    /root/model/internlm2_5-7b-chat-w4a16-4bit/ \
    --model-format awq \
    --quant-policy 4 \
    --cache-max-entry-count 0.4\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

然后在命令行指定接口和大模型进行交流：

lmdeploy serve api_client http://localhost:23333

此时大模型的回复和显存占用为：
在这里插入图片描述
然后我们尝试在文件里面和量化后的模型进行交流，创建internlm2_5_awq.py文件，内容为：

# 导入openai模块中的OpenAI类，这个类用于与OpenAI API进行交互
from openai import OpenAI


# 创建一个OpenAI的客户端实例，需要传入API密钥和API的基础URL
client = OpenAI(
    api_key='YOUR_API_KEY',  
    # 替换为你的OpenAI API密钥，由于我们使用的本地API，无需密钥，任意填写即可
    base_url="http://0.0.0.0:23333/v1"  
    # 指定API的基础URL，这里使用了本地地址和端口
)

# 调用client.models.list()方法获取所有可用的模型，并选择第一个模型的ID
# models.list()返回一个模型列表，每个模型都有一个id属性
model_name = client.models.list().data[0].id

# 使用client.chat.completions.create()方法创建一个聊天补全请求
# 这个方法需要传入多个参数来指定请求的细节
response = client.chat.completions.create(
  model=model_name,  
  # 指定要使用的模型ID
  messages=[  
  # 定义消息列表，列表中的每个字典代表一个消息
    {"role": "system", "content": "你是一个友好的小助手，负责解决问题."},  
    # 系统消息，定义助手的行为
    {"role": "user", "content": "李白是谁"},  
    # 用户消息，询问时间管理的建议
  ],
    temperature=0.8,  
    # 控制生成文本的随机性，值越高生成的文本越随机
    top_p=0.8  
    # 控制生成文本的多样性，值越高生成的文本越多样
)

# 打印出API的响应结果
print(response.choices[0].message.content)

然后运行，得到的结果如下：
在这里插入图片描述
最后实现function call功能。直接套用之前的代码会报错，应该是量化过后模型的理解能力下降了，查看输出的response可以出现了解析错误：
在这里插入图片描述
这个时候我们尝试更改temperature和top_p，这两个参数的意义为：

  • temperature：这个值越大生成内容越随机，多样性更好，但可能会牺牲一些准确性或连贯性。具体地，temperature 会调整概率输出的softmax概率分布，如果 temperature 的值为1，则没有任何调整；如果其值比1大，则会生成更加随机的文本；如果其值比1小，则生成的文本更加保守。
  • top_p：单步累计采用阈值，越大越多token会被考虑。如果累计概率已经超过0.95，剩下的token不会被考虑例如有下面的token及其概率，a:0.9,b:0.03,c:0.03,d:0.015,e… 。则只会采用用abc，因为已经是0.96超过了0.95

修改temperature=1.9，top_p=0.9，得到的结果为（尝试了多次，因为结果随机）：
在这里插入图片描述
但它没有使用tool_calls，调整参数也不行。

不知道咋解决了，暂时放在这里吧，感觉还是它理解能力下降了，导致模型无法解析。

lzl2040
关注
  • 18
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ValueError: The repository for contains custom code which must be executed to ...的一种解决方案
Superstarimage
07-10 414
博主在使用diffusers导入自定义的数据集训练stable diffusion时，发现自定义数据集中的加载脚本不起作用（加载自定义数据集的方法见。经过多种尝试后，最终得到一种解决方法，即：在load_dataset()方法的形参中额外增加一条参数trust_remote_code=True，
书生大模型实战营 LMDeploy 量化部署进阶实践
m19735499476的博客
08-16 280
的显存下只需要4位来存储一个数值，而BF16需要16位。这意味着int4的Cache可以存储的元素数量是BF16的四倍。设置为4时，意味着使用int4精度进行量化。均为0.4，这意味着LMDeploy将分配40%的剩余显存用于kv cache，即。由于都使用BF16精度下的internlm2.5 7B模型，故剩余显存均为。相比使用BF16精度的kv cache，int4的Cache可以在相同。int4的Cache可以存储的元素数量是BF16的四倍。占用约为80%，少了约3.6G。的kv cache。
（第三期）书生大模型实战营——LMDeploy量化部署进阶实践
a_blade_of_grass的博客
08-12 735
教程原文在。
书生大模型实战营3期 - 进阶岛 - 3 - LMDeploy 量化部署进阶实践
wocsdn111的博客
08-16 780
【代码】书生大模型实战营3期 - 进阶岛 - 3 - LMDeploy 量化部署进阶实践。
书生浦语大模型实战营微调部署至OpenXlab.zip
07-26
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
书生大模型实战营第三关浦语提示词工程实践
08-09
书生大模型实战营第三关浦语提示词工程实践
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
大模型-书生训练营第三期闯关指南-linux
07-19
大模型-书生训练营第三期闯关指南-linux
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
深度学习基础之循环神经网络
Ctrl+CV九段手
08-16 1087
RNN通过引入隐藏状态（Hidden State），使得网络能够在处理当前输入时保留之前的信息。这种记忆能力使得RNN特别适合处理具有时间依赖性的序列数据，如文本、语音和时间序列等。具体来说，RNN在每个时间步上都会计算一个隐藏状态，并将该状态传递到下一个时间步，从而捕捉到序列数据中的时序信息。循环神经网络因其独特的结构和强大的表达能力，在处理序列数据方面表现出色。尽管存在一些挑战，但通过改进方法如LSTM和GRU，这些问题得到了有效解决。
【深度学习】
feifeikon的博客
08-16 310
过拟合：训练集上损失很小，测试集上测试效果很差。欠拟合：欠拟合是指模型拟合程度不高，数据距离拟合曲线较远，或指模型没有很好地捕捉到数据特征，不能够很好地拟合数据。防止过拟合。L1是模型各个参数的绝对值之和；L1会趋向于产生少量的特征，而其他的特征都是0，产生稀疏权重矩阵；L2是模型各个参数的平方和的开方值。L2会选择更多的特征，这些特征都会接近于0，当最小化||w||时，就会使每一项趋近于0，防止过拟合生成器，判别器。能讲出大致思路。分类问题评价指标精准，召回，F1等，解释含义。AUC、ROC。
深度学习多GPU训练原理
https://github.com/heatMa
08-18 299
详细参考《动手学深度学习》P233，8.4节多GPU计算。
论文阅读-Transformer Layers as Painters
yiyele的博客
08-14 1096
尽管大语言模型现在已经被广泛的应用于各种任务，但是目前对其并没有一个很好的认知。为了弄清楚删除和重组预训练模型不同层的影响，本文设计了一系列的实验。通过实验表明，预训练语言模型中的lower和final layers与中间层分布不一致，并且中间层有着惊人的一致性。
神经网络的数学原理
突然好想你
08-14 377
人工智能技术的发展与成功应用已经成为21世纪科技领域最大的新现象。然而，科学地理解人工智能原理已经超出了现有科学体系的范畴。显然，人工智能是人类科学技术发展的必然结果，人工智能科学也将是人类科学进步与发展必然实现的目标🌈
深度学习--RNN以及RNN的延伸
最新发布
GDHBFTGGG的博客
08-21 676
循环神经网络（Recurrent Neural Network, RNN）是一类能够处理序列数据的神经网络，在自然语言处理、时间序列分析等任务中得到了广泛应用。RNN能够通过其内部的循环结构，捕捉到序列中前后项之间的关系。
深度学习--数据类型/格式不匹配问题
GDHBFTGGG的博客
08-18 382
深度学习--数据类型/格式不匹配问题
【机器学习】CNN的基本架构模块
鑫宝的博客
08-16 1673
卷积神经网络（Convolutional Neural Network，CNN）是深度学习中一种强大的神经网络架构，特别适用于处理具有网格状拓扑结构的数据，如图像和时间序列。CNN的成功源于其独特的架构设计，包含了多个精心设计的基本模块。本文将详细介绍CNN的基本架构模块，包括卷积层、池化层、激活函数、全连接层等，以及一些高级组件和优化技术。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lzl2040

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值