中秋卷王：蒲语书生InterLM大模型实战闯关-进阶岛-LMDeploy 量化部署进阶实践

最新推荐文章于 2024-09-26 17:23:00 发布
最新推荐文章于 2024-09-26 17:23:00 发布
阅读量939 收藏 8
点赞数 20
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73722957/article/details/142426176
版权

中秋卷王：蒲语书生InterLM大模型实战闯关-进阶岛-LMDeploy 量化部署进阶实践

LMDeploy 量化部署进阶实践

任务要求：使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话。

一、LMDeploy环境配置

1、InternStudio开发机创建与环境搭建

选择cuda12.2，资源配置50%A100*1
创建环境

conda create -n lmdeploy  python=3.10 -y

在这里插入图片描述

conda activate lmdeploy
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia -y
pip install timm==1.0.8 openai==1.40.3 lmdeploy[all]==0.5.3

在这里插入图片描述
在这里插入图片描述

2、InternStudio环境获取模型

创建文件夹并设置开发机共享目录的软链接

mkdir /root/models
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/models
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-1_8b-chat /root/models
ln -s /root/share/new_models/OpenGVLab/InternVL2-26B /root/models

在这里插入图片描述

3、LMDeploy验证启动模型文件

启动InternLM2_5-7b-chat

conda activate lmdeploy
lmdeploy chat /root/models/internlm2_5-7b-chat

在这里插入图片描述
显存占用情况
在这里插入图片描述

二、LMDeploy与InternLM2.5

1、LMDeploy API部署InternLM2.5

启动API服务器

进入创建好的conda环境，并通下命令启动API服务器，部署InternLM2.5模型

conda activate lmdeploy
lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

在这里插入图片描述
SSH链接远程服务器

 ssh -CNg -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的ssh端口号

在这里插入图片描述
通过浏览器访问http://127.0.0.1:23333
在这里插入图片描述

以命令行形式连接API服务器

关闭http://127.0.0.1:23333网页，但保持终端和本地窗口不动，按箭头操作新建一个终端，激活conda环境并启动命令行客户端

conda activate lmdeploy
lmdeploy serve api_client http://localhost:23333

在这里插入图片描述

以Gradio网页形式连接API服务器

保持第一个终端不动，在新建终端中输入exit退出。输入以下命令，使用Gradio作为前端，启动网页。

lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

在这里插入图片描述
SSH链接远程服务器

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p <你的ssh端口号>

在这里插入图片描述
浏览器访问地址http://127.0.0.1:6006
在这里插入图片描述

2、LMDeploy Lite

设置最大kv cache缓存大小
lmdeploy chat /root/models/internlm2_5-7b-chat --cache-max-entry-count 0.4

在这里插入图片描述
显存占用情况
在这里插入图片描述

设置在线 kv cache int4/int8 量化
lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 4 \
    --cache-max-entry-count 0.4\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

在这里插入图片描述
显存占用情况
在这里插入图片描述

W4A16 模型量化和部署

使用1.8B模型进行量化

lmdeploy lite auto_awq \
   /root/models/internlm2_5-1_8b-chat \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --batch-size 1 \
  --search-scale False \
  --work-dir /root/models/internlm2_5-1_8b-chat-w4a16-4bit

在这里插入图片描述
查看在当前目录中显示所有子目录的大小

cd /root/models/
du -sh *

在这里插入图片描述
查看原模型大小

cd /root/share/new_models/Shanghai_AI_Laboratory/
du -sh *

在这里插入图片描述
启动量化后的模型

lmdeploy chat /root/models/internlm2_5-7b-chat-w4a16-4bit/ --model-format awq

显存占用情况
在这里插入图片描述

W4A16 量化+ KV cache+KV cache 量化

启用量化后的模型、设定kv cache占用和kv cache int4量化

lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat-w4a16-4bit/ \
    --model-format awq \
    --quant-policy 4 \
    --cache-max-entry-count 0.4\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

在这里插入图片描述
显存占用情况
在这里插入图片描述

三、LMDeploy与InternVL2

1、LMDeploy Lite

W4A16 模型量化和部署

针对InternVL系列模型，进入conda环境，执行模型的量化工作

conda activate lmdeploy
lmdeploy lite auto_awq \
   /root/models/InternVL2-26B \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 2048 \
  --w-bits 4 \
  --w-group-size 128 \
  --batch-size 1 \
  --search-scale False \
  --work-dir /root/models/InternVL2-26B-w4a16-4bit

在这里插入图片描述
在这里插入图片描述

W4A16 量化+ KV cache+KV cache 量化

启用量化后的模型

lmdeploy serve api_server \
    /root/models/InternVL2-26B-w4a16-4bit \
    --model-format awq \
    --quant-policy 4 \
    --cache-max-entry-count 0.1\
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

显存占用情况
在这里插入图片描述

2、LMDeploy API部署InternVL2

启动API服务器，部署InternVL2模型

lmdeploy serve api_server \
    /root/models/InternVL2-26B-w4a16-4bit/ \
    --model-format awq \
    --quant-policy 4 \
    --cache-max-entry-count 0.1 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

四、LMDeploy之FastAPI与Function call

1、API开发

进入创建好的conda环境并输入指令启动API服务器

conda activate lmdeploy
lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat-w4a16-4bit \
    --model-format awq \
    --cache-max-entry-count 0.4 \
    --quant-policy 4 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

在这里插入图片描述
新建internlm2_5.py

touch /root/internlm2_5.py

将以下内容复制粘贴进internlm2_5.py

# 导入openai模块中的OpenAI类，这个类用于与OpenAI API进行交互
from openai import OpenAI


# 创建一个OpenAI的客户端实例，需要传入API密钥和API的基础URL
client = OpenAI(
    api_key='YOUR_API_KEY',  
    # 替换为你的OpenAI API密钥，由于我们使用的本地API，无需密钥，任意填写即可
    base_url="http://0.0.0.0:23333/v1"  
    # 指定API的基础URL，这里使用了本地地址和端口
)

# 调用client.models.list()方法获取所有可用的模型，并选择第一个模型的ID
# models.list()返回一个模型列表，每个模型都有一个id属性
model_name = client.models.list().data[0].id

# 使用client.chat.completions.create()方法创建一个聊天补全请求
# 这个方法需要传入多个参数来指定请求的细节
response = client.chat.completions.create(
  model=model_name,  
  # 指定要使用的模型ID
  messages=[  
  # 定义消息列表，列表中的每个字典代表一个消息
    {"role": "system", "content": "你是一个友好的小助手，负责解决问题."},  
    # 系统消息，定义助手的行为
    {"role": "user", "content": "帮我讲述一个关于狐狸和西瓜的小故事"},  
    # 用户消息，询问时间管理的建议
  ],
    temperature=0.8,  
    # 控制生成文本的随机性，值越高生成的文本越随机
    top_p=0.8  
    # 控制生成文本的多样性，值越高生成的文本越多样
)

# 打印出API的响应结果
print(response.choices[0].message.content)

在这里插入图片描述
在新建终端输入以下指令激活环境并运行python代码

conda activate lmdeploy
python /root/internlm2_5.py

终端会输出如下结果
在这里插入图片描述

2、Function call

进入创建好的conda环境并启动API服务器

conda activate lmdeploy
lmdeploy serve api_server \
    /root/models/internlm2_5-7b-chat \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

在这里插入图片描述
新建internlm2_5_func.py

touch /root/internlm2_5_func.py

将以下内容复制粘贴进internlm2_5_func.py

from openai import OpenAI


def add(a: int, b: int):
    return a + b


def mul(a: int, b: int):
    return a * b


tools = [{
    'type': 'function',
    'function': {
        'name': 'add',
        'description': 'Compute the sum of two numbers',
        'parameters': {
            'type': 'object',
            'properties': {
                'a': {
                    'type': 'int',
                    'description': 'A number',
                },
                'b': {
                    'type': 'int',
                    'description': 'A number',
                },
            },
            'required': ['a', 'b'],
        },
    }
}, {
    'type': 'function',
    'function': {
        'name': 'mul',
        'description': 'Calculate the product of two numbers',
        'parameters': {
            'type': 'object',
            'properties': {
                'a': {
                    'type': 'int',
                    'description': 'A number',
                },
                'b': {
                    'type': 'int',
                    'description': 'A number',
                },
            },
            'required': ['a', 'b'],
        },
    }
}]
messages = [{'role': 'user', 'content': 'Compute (3+5)*2'}]

client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
    model=model_name,
    messages=messages,
    temperature=0.8,
    top_p=0.8,
    stream=False,
    tools=tools)
print(response)
func1_name = response.choices[0].message.tool_calls[0].function.name
func1_args = response.choices[0].message.tool_calls[0].function.arguments
func1_out = eval(f'{func1_name}(**{func1_args})')
print(func1_out)

messages.append({
    'role': 'assistant',
    'content': response.choices[0].message.content
})
messages.append({
    'role': 'environment',
    'content': f'3+5={func1_out}',
    'name': 'plugin'
})
response = client.chat.completions.create(
    model=model_name,
    messages=messages,
    temperature=0.8,
    top_p=0.8,
    stream=False,
    tools=tools)
print(response)
func2_name = response.choices[0].message.tool_calls[0].function.name
func2_args = response.choices[0].message.tool_calls[0].function.arguments
func2_out = eval(f'{func2_name}(**{func2_args})')
print(func2_out)

在这里插入图片描述
运行python代码

python /root/internlm2_5_func.py

终端输出如下
在这里插入图片描述

在芝加哥拉二胡的西瓜
关注
开源模型应用落地-qwen2-7b-instruct-LoRA微调&合并-ms-swift-单机单卡-V100（十三）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-30 2987
使用ms-swift合并微调后的模型权重
LMDeploy量化部署进阶实践
weixin_44217506的博客
08-29 722
这节是主要还是Internlm2.5和InternVL2的部署与量化实现的内容，操作简单，主要是我们可以使用lmde工具来量化模型，使其模型推理只需要较低的显存占用，保证在低配置下也能运行推理。感兴趣的同学可以自己深入了解下我们的LMDeploy量化参数以及相关代码的核心逻辑。
LMDeploy 量化部署实践闯关任务
pwisnsijs的博客
09-04 716
无
LMDeploy 量化部署 LLM&VLM实战
qq_38943092的博客
05-10 1622
LMDeploy 量化部署 LLM&VLM实战。
中秋卷王：蒲语书生InterLM大模型实战闯关-进阶岛-MindSearch 快速部署
m0_73722957的博客
09-25 748
随着硅基流动提供了免费的 InternLM2.5-7B-Chat 服务，MindSearch 的部署与使用也就迎来了纯 CPU 版本，进一步降低了部署门槛。在完成注册后，打开 https://cloud.siliconflow.cn/account/ak 来准备 API Key。打开 https://huggingface.co/spaces ，并点击 Create new Space。我们打开 https://account.siliconflow.cn/login 来注册硅基流动的账号。
中秋卷王：蒲语书生InterLM大模型实战闯关-进阶岛-InternVL 多模态模型部署微调实践
m0_73722957的博客
09-24 565
总体config文件（/root/InternLM/code/XTuner/xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_qlora_finetune.py）从官网下载数据集并进行去重，保留中文数据，制作成XTuner需要的形式，从share里挪出数据集。：follow 教学文档和视频使用QLoRA进行微调模型，复现微调效果，并能成功讲出梗图。打开数据集，选择第一张图片，把这张图片挪动到InternLM文件夹下面。用官方脚本进行权重合并。
中秋卷王：蒲语书生InterLM大模型实战闯关-基础岛-浦语提示词工程实践
m0_73722957的博客
09-18 556
近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为13.8<13.11。使用intern-studio开发机，可以直接在路径/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b下找到模型。InternLM部署完成后，可利用提供的chat_ui.py创建图形化界面，在实战营项目的tools项目中。运行如下命令创建并打开项目路径。
中秋卷王：蒲语书生InterLM大模型实战闯关-进阶岛-Lagent 自定义你的 Agent 智能体
m0_73722957的博客
09-21 357
任务要求：使用 Lagent 自定义一个智能体，并使用 Lagent Web Demo 成功部署与调用。
中秋卷王：蒲语书生InterLM大模型实战闯关-入门岛-Python前置基础
m0_73722957的博客
09-16 859
请实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数。
中秋主题Mid-AutumnFestivalDemo-main.zip
08-30
中秋主题Mid-AutumnFestivalDemo-main.zip
用C语言庆祝中秋: 祝福语与文化符号的编程展示
09-14
内容概要：本文介绍了用C语言编写简单脚本以文字的形式展现中秋佳节的祝福以及传统符号——明月、月饼和红灯的过程。文中提供了详尽的步骤指导并辅以源码示例，演示了字符绘制方法。最后提出未来改进思路比如动画...
秋空明月悬，光彩露沾湿-中秋专用 -LORA-sd模型
09-06
秋空明月悬，光彩露沾湿-中秋专用 -LORA-sd模型
UCenter Home-中秋搏饼插件 v1.2 UTF8版.zip
06-19
《UCenter Home 中秋搏饼插件 v1.2 UTF8版》是一个专为社区平台设计的节日互动组件，主要用于增强用户在中秋节期间的互动体验。这个插件基于UTF8编码，确保了对多语言环境的良好支持，尤其适用于中文用户。下面我们...
AI机器学习实战 | 使用 Python 和 scikit-learn 库进行情感分析
Web3 & Basketball
11-15 7153
上述代码完成了一个简单的情感分析任务。根据具体需求和数据集，您可能需要调整预处理步骤、特征提取方法和支持向量机参数。此外，还可以尝试使用其他机器学习算法，如神经网络、决策树、随机森林等，以提高模型性能。以上代码只是一个简单的机器学习项目示例，实际应用中可能需要根据具体任务和数据类型进行调整。此外，根据实际需求，您可能还需要学习更多的机器学习算法和高级技巧，如神经网络、深度学习、集成学习等。情感分析是自然语言处理领域的一个热门课题，AI 和机器学习技术在情感分析中有着广泛的应用。
零售业的数字化转型与消费者体验升级
weixin_58820787的博客
09-24 544
在数字化浪潮的推动下，零售业正经历着前所未有的变革。数字化转型不仅为零售商带来了新的商业模式和运营效率的提升，更重要的是，它极大地提升了消费者的购物体验。金智维将探讨零售业如何通过数字化转型，实现线上线下融合、智能推荐、个性化服务等方面的升级，以满足消费者日益增长的需求。
音频3A——初步了解音频3A
山河君的分享博客
09-23 1342
在日常的音视频通话过程中，说话的双端往往会面对比较复杂的场景，比如：环境存在较大的噪声，扬声器需要开启外放导致麦克风重新采集到，麦克风固定而人物需要走来走去等等的场景。而为了面对这些复杂的场景，音频通话不得不引入算法对于声音进行预处理，再进行发送给远端。而3A是对于音视预处理的三种算法的统称。AEC（Acoustic Echo Cancellation）：声学回声消除AGC (Automatic Gain Control)：自动增益控制。
【人工智能】多模态AI：如何通过融合文本、图像与音频重塑智能系统未来
最新发布
qq_42978535的博客
09-26 695
是一项令人兴奋的新兴技术，旨在通过结合文本、图像和音频等多种数据模态，打造更加智能化和人性化的系统。随着深度学习和自然语言处理（NLP）的飞速发展，多模态AI正在为下一代智能系统奠定基础，使它们能够同时理解多种感官信息，并做出更加复杂的决策。例如，在自动驾驶系统中，车载AI不仅需要分析摄像头图像，还需要理解驾驶员的语音指令，同时处理雷达和音频信号。我们将文本和图像的嵌入向量通过拼接的方式融合。在本篇文章中，我们将深入探讨多模态AI的工作原理、技术挑战，以及如何通过代码示例来实现文本、图像与音频的融合。
【LLM论文日更】| 俄罗斯套娃嵌入模型
qq_59084968的博客
09-22 1042
适应性图像检索也达到了效率和精度的权衡，16维度做粗排，2048维度做精排的准确率已经和直接使用2048维度做排序的精度还高，但计算量大幅减小。：为了提高效率，MRL采用了权重绑定技术，即所有线性分类器的权重相同，从而减少内存成本。每个嵌入的前几个维度是一个信息丰富的低维向量，随着维度的增加，表示逐渐变得粗糙。本文将MRL/MRL-E模型与单独训练的低维表征（FF），SVD分解，子网络[2]方法进行了比较。16-32-64-128-256-2048 对前200-100-50-25-10个样本的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值