书生浦语第二期实战营——第五课_LMDeploy部署

最新推荐文章于 2024-08-01 20:59:33 发布
最新推荐文章于 2024-08-01 20:59:33 发布
阅读量1.7k 收藏 48
点赞数 30
分类专栏： 书生浦语第二期 文章标签： 语言模型 人工智能 python 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49374605/article/details/138142397
版权

目录

第五课

——LMDepoly的量化和部署

课程文档：https://github.com/InternLM/Tutorial/blob/camp2/lmdeploy/README.md

课程作业：https://github.com/InternLM/Tutorial/blob/camp2/lmdeploy/homework.md

项目：https://github.com/InternLM/LMDeploy

1 课程

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

时间花费在数据交换上面

部署方法

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

模型存储时是32位，通过量化能够降低访存，提升了效率。

LMDepoly

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2 实践

安装、部署、量化、

2.1 环境

  1. 创建开发
  2. cuda12.2 0.3.0的deploy
  3. 10% GPU
  4. 新建虚拟环境，激活。
  5. 安装deploy==0.3.0

2.2 模型对话——chat

  1. 模型托管社区：huggingface、MindScope、OpenXlab。HF格式

  2. TurboMind引擎，只支持TurboMind格式的模型。

  3. 下载模型（软链接模型，创建模型映射）

  4. transformer库（HF）运行模型。

    • 创建新文件——pipeline_transformer.py。（测试Huggingface模型的速度）

  5. LMDepoly的命令格式：

    lmdepoly chat [HF格式的模型路径/TurboMind格式的模型路径]

    lmdepoly chat /root/internlm2-chat-1_8b

  6. 查看命令：lmdepoly chat -h

2.3 模型量化——lite

KV Cache通过存储键值对的形式来复用计算结果，以达到提高性能和降低内存的目的。

占用的显存可分为三个部分：

  • 模型参数本身占用的显存
  • KV Cache占用的显存
  • 中间运算结果占用的显存

设计思路：用的时候放入显存，不用的时候放入内存。

先设置固定大小空间，默认0.8。控制KV缓存占剩余显存的最大比例，设置越小，显存的占用越小。

极限压缩：–cache-max-entry-count 0.01

W4A16量化

使用AWQ算法，实现4bit权重量化。

  1. 安装依赖：einops==0.7.0

  2. 执行命令

    在这里插入图片描述

​ lite：量化功能

​ 调用awq算法

  1. 对比测试。

以上是本地部署

2.4 LMDeploy服务器

将大模型封装成api的服务，供客户端访问

架构图如下：

在这里插入图片描述

  • 模型推理服务。提供模型本身的推理。
  • 中间协议层。把后端的推理/服务通过http，gRPC或其他形式的接口供前端使用。
  • Client。前端，与用户交互

启动服务：

  1. 命令:

    lmdepoly serve api_serve \
/root/internlm2-chat-1_8b \
--model-format hf \  # 量化推理
--quant-policy 0 \   # 量化推理
--server-name 0.0.0.0 \
--server-port 23333 \
--tp 1  # 并行数量——GPU数量

#

  2. 命令行客户端连接API服务器

    • 新建终端-激活环境

    • lmdepoly serve api_client http://localhost:23333

      在这里插入图片描述

      区别：有了一个中介服务器——api服务

  3. 网页客户端(gradio)

    lmdepoly server gradio http:localhost:23333 \  # 访问后端的接口
--server-name 0.0.0.0 \
--sever-port 6006

    在这里插入图片描述

  4. 本地端口转发

    ssh -CNg -L 6006:127.0.0.0.1:6006 root@ip -p

    本地的6006端口转发到开发机的6006端口

2.5 集成LMDeploy

将大模型推理代码集成到python代码里面

（1）pipeline 批处理

  1. 激活环境

  2. 新建文件pipeline.py

  3. 代码：

    from lmdepoly import pipiline
# 示例
# 批处理
print()

  4. 运行：python /root/pipeline.py

（2）pipeline的KV设置：

在这里插入图片描述

（3）多模态

30% 的开发机

  1. LLaVA的依赖库

  2. 新建文件。pipeline_llava.py

    python

    在这里插入图片描述

    gradio大模型:

    在这里插入图片描述

补充：

# Launch inference server
python3 -m lmdeploy.serve.openai.api_server ./workspace server_ip server_port --instance_num 32 --tp 1

# restful_api_url is what printed in api_server.py, e.g. http://localhost:23333
python -m lmdeploy.serve.openai.api_client restful_api_url

# restful_api_url is what printed in api_server.py, e.g. http://localhost:23333
# server_ip and server_port here are for gradio ui
# example: python -m lmdeploy.serve.gradio.app http://localhost:23333 localhost 6006 --restful_api True
python -m lmdeploy.serve.gradio.app restful_api_url server_ip --restful_api True

3 作业

  • 配置 LMDeploy 运行环境
  • 以命令行方式与 InternLM2-Chat-1.8B 模型对话
  • 置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。（优秀学员必做）
  • 以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。（优秀学员必做）
  • 使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。（优秀学员必做）
  • 使用 LMDeploy 运行视觉多模态大模型 llava gradio demo。（优秀学员必做）（显存资源不够）

3.1 配置环境

  1. 创建开发

  2. cuda12.2 0.3.0的deploy

  3. 10% GPU

    在这里插入图片描述

  4. 新建虚拟环境，激活。

    studio-conda -t lmdeploy -o pytorch-2.1.2

  5. 安装deploy==0.3.0

    conda activate lmdeploy

    pip install lmdeploy[all]==0.3.0

    在这里插入图片描述

3.1 命令行方式对话

软链接模型：ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/

conda activate lmdeploy
lmdepoly chat /root/internlm2-chat-1_8b

在这里插入图片描述

3.3 配置置KV Cache，开启W4A16量化，以命令行方式对话

KV Cache最大占用比例为0.4。压缩：–cache-max-entry-count

量化

pip install einops==0.7.0

  • 模型量化指令：
lmdeploy lite auto_awq \
   /root/internlm2-chat-1_8b \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 1024 \
  --w-bits 4 \
  --w-group-size 128 \
  --work-dir /root/internlm2-chat-1_8b-4bit

在这里插入图片描述

量化后：

lmdeploy chat /root/internlm2-chat-1_8b-4bit --model-format awq

lmdeploy chat /root/internlm2-chat-1_8b-4bit --model-format awq --cache-max-entry-count 0.4

在这里插入图片描述

3.4 API Server+量化+KV—命令行+gradio

以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。

  • 启动API服务器

    lmdeploy serve api_server \
    /root/internlm2-chat-1_8b \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1
   
lmdeploy serve api_server \
  /root/internlm2-chat-1_8b-4bit \
  --model-format awq \
  --cache-max-entry-count 0.4 \
  --quant-policy 0 \
  --server-name 0.0.0.0 \
  --server-port 23333 \
  --tp 1

在这里插入图片描述

  • 命令行

    conda activate lmdeploy
lmdeploy serve api_client http://localhost:23333

在这里插入图片描述
徽京实锤了233333

  • gradio

    lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

在这里插入图片描述

ssh:ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p <你的ssh端口号>
在这里插入图片描述
在这里插入图片描述

3.5 量化-KV-集成

使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。

conda activate lmdeploy
touch /root/pipeline_kv.py

from lmdeploy import pipeline, TurbomindEngineConfig

# 调低 k/v cache内存占比调整为总显存的 40%
backend_config = TurbomindEngineConfig(cache_max_entry_count=0.4, model_format='awq')

pipe = pipeline('/root/internlm2-chat-1_8b-4bit',
                backend_config=backend_config)
response = pipe(['Hi, pls intro yourself', '南京是安徽的省会吗？'])
print(response)

在这里插入图片描述

由此看来，模型会受人为引导得到错误的结果，大模型的安全问题值得考虑。
lmdeploy 可以用在win系统上部署！！！

参考资料：

课程文档：https://github.com/InternLM/Tutorial/blob/camp2/lmdeploy/README.md

课程作业：https://github.com/InternLM/Tutorial/blob/camp2/lmdeploy/homework.md

项目：https://github.com/InternLM/LMDeploy

J_俊之
关注
  • 30
    点赞
  • 踩
  • 48
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
书生 浦语大模型实战训练营第二期 第三节笔记
04-14
书生 浦语大模型实战训练营第二期 第三节笔记
书生浦语大模型实战课（第二期） 第二课作业
04-04
### 书生浦语大模型实战课（第二期）第二课作业知识点总结 #### 一、使用Powershell配置端口及权限问题处理 在学习过程中，遇到的第一个问题是在使用Powershell配置端口时出现问题，尝试修改端口号并复制密码，但...
书生浦语第二期实战营——第二课_part2
weixin_49374605的博客
04-05 727
书生浦语第二期实战营——第二课_part2，主要内容为“InternLM2-Chat-7B” 运行 Lagent智能体 ，以及“浦语·灵笔2” 模型的部署。
【书生·浦语大模型实战营第二期】LMDeploy量化部署LLM实践——学习笔记5
m0_61819793的博客
05-02 995
书生·浦语实战营 学习笔记5 LMDeploy 量化部署 LLM 实践
[书生·浦语大模型实战营]——第五节 LMDeploy 量化部署 LLM 实践
qq_41776136的博客
06-01 950
创建新的开发机，选择；选择10% A100*1GPU；点击“立即创建”。注意请不要选择Cuda11.7-conda的镜像，新版本的lmdeploy会出现兼容性问题。其他和之前一样，不赘述。
书生浦语（第五课）——LMDeploy量化部署LLM&VLM
m0_75187775的博客
04-29 531
1.LMDeploy环境部署 1.1 面临的挑战 1.2 解决方法 1.3 LMDelopy简介 2 实战 2.1使用Transformer库运行模型 2.2 使用LMDeploy与模型对话
【书生·浦语】大模型实战营——第五课笔记
m0_50123831的博客
01-14 1078
LMDeploy是LLM在nvidia设备上部署的全流程解决方案。（还没有涉及到移动端）关于轻量化：1、权重的4bit量化2、k v cache的8bit量化关于推理引擎：1、turbomind，是LMDeploy的一个创新点2、pytorch关于服务：2、gradio：主要用于演示demoLMDeploy比vLLM的性能要好。
《书生·浦语大模型实战营》第5课 学习笔记：LMDeploy 量化部署 LLM 实践
shiter编写程序的艺术
06-24 1022
模型部署，就是把已经训练好的模型放在特定的环境中运行的过程。
【书生·浦语】大模型实战营——第五课作业
m0_50123831的博客
01-14 1112
教程文档：https://github.com/InternLM/tutorial/blob/vansin-patch-4/lmdeploy/lmdeploy.md#tritonserver-%E6%9C%8D%E5%8A%A1%E4%BD%9C%E4%B8%BA%E5%90%8E%E7%AB%AF 视频链接：作业： 使用如下命令创建conda环境 然后激活环境，进入环境。 通过pip命令安装lmdeploy 途中遇到报错，说没有packaing这个包。 那么通过pip install packagin
《书生·浦语大模型实战营》第五节课《LMDeploy 量化部署 LLM&VLM实战》课程笔记
胡争辉
04-15 850
2024年3月开始参加《书生·浦语大模型实战营》 这是《书生·浦语大模型实战营》第五节课《LMDeploy 量化部署 LLM&VLM实战》课程笔记 - 大模型部署背景 - 大模型部署方法 - `LMDeploy` 简介 - 动手实践环节 - 在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。 最终模型都是要服务于实际业务场景的，这就牵扯到需要把模型部署到服务器，或者是移动端、边缘端。
【书生·浦语】大模型实战营——第五次课程作业
wudongliang971012的博客
01-15 530
运行上述命令后，会在当前目录新建workspace文件夹，里面存放着转化后的权重文件。以开始以为运行命令参数是 l。
书生浦语大模型实战课 第二课作业（更新）
04-04
### 书生浦语大模型实战课程第二课作业解析与技术难点详解 #### 一、课程背景概述 在书生浦语大模型实战课程中，第二课主要涉及模型的部署与调试过程。本次作业旨在通过实际操作加深学员对模型部署流程的理解，并...
书生·浦语大模型第二课
03-04
根据提供的信息，“书生·浦语大模型第二课”似乎是指一次课程或者教学活动的内容，主要涉及“浦语大模型”的相关内容。虽然提供的信息较为有限，但从这些线索中，我们可以推测出这可能是一次关于自然语言处理（NLP...
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
常见的文心一言的指令
知码客
07-25 1991
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
Transformer 架构告诉我们什么？
2401_85233349的博客
08-01 1118
在传统的心理语言学方法中，人类语言是用可解释的模型来解释的，这些模型将符号元素（例如名词、动词、形容词、副词等）与基于规则的操作相结合。从几何上讲，它们之间的夹角越小，余弦值和点积就越大，并且这两个词在特定上下文中的相关性就越高，就像在高维空间中表示的那样。，Transformer 作为过度参数化的简单模型所展现出的蛮力学习，与进化过程类似，都是“简单而简约的”。下面是一个简单的示例，展示了词向量的基本概念。有趣的是，A 和 B 的相关系数也是角度的余弦（见上文 (2) 和 (3) 的公式）。
带并行卷积的水下图像背景前景分割方法
renhongxia1的博客
07-30 1136
图6，7为不同照度条件下水下图像及在不同分割方法的实验结果，其中第1，4行的原始图像为13.826 lx照度下采集的，第2，5行为6.947 lx照度下采集的，第3，6行为0.925 lx照度下采集的。在进行图像采集时，图6，7中，目标距离采集设备分别为1.4，1 m。图5是相机距目标1.4 m处采集的图像，图5a）为空气中的图像，图5b）为照度为13.826 lx条件下采集的水下图像，图5c）为照度为6.947 lx条件下采集的水下图像，图5d）为照度为0.925 lx条件下采集的水下图像。
常用的机器学习模型的不同调用方式
最新发布
weixin_71458119的博客
08-01 840
不同机器学习方法的调用
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值