LMDeploy量化部署LLM&VLM

最新推荐文章于 2024-06-28 09:30:52 发布
最新推荐文章于 2024-06-28 09:30:52 发布
阅读量970 收藏 10
点赞数 21
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45924641/article/details/137925301
版权

LMDeploy简介

LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案，提供以下核心功能：

  • 高效的推理：LMDeploy 开发了 Persistent Batch(即 Continuous Batch)，Blocked K/V Cache，动态拆分和融合，张量并行，高效的计算 kernel等重要特性。推理性能是 vLLM 的 1.8 倍

  • 可靠的量化：LMDeploy 支持权重量化和 k/v 量化。4bit 模型推理效率是 FP16 下的 2.4 倍。量化模型的可靠性已通过 OpenCompass 评测得到充分验证。

  • 便捷的服务：通过请求分发服务，LMDeploy 支持多模型在多机、多卡上的推理服务。

  • 有状态推理：通过缓存多轮对话过程中 attention 的 k/v，记住对话历史，从而避免重复处理历史会话。显著提升长文本多轮对话场景中的效率。

LMDeploy 支持 2 种推理引擎： TurboMind 和 PyTorch，它们侧重不同。前者追求推理性能的极致优化，后者纯用python开发，着重降低开发者的门槛。

TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。TurboMind推理引擎仅支持推理TurboMind格式的模型。因此，TurboMind在推理HF格式的模型时，会首先自动将HF格式模型转换为TurboMind格式的模型。该过程在新版本的LMDeploy中是自动进行的，无需用户操作。

配置环境

创建并激活虚拟环境

conda create -n lmdeploy -y python=3.10
conda activate lmdeploy

安装LMDeploy

pip install lmdeploy[all]==0.3.0

在这里插入图片描述

下载模型

本文以InternLM2-Chat-1.8B模型为例，从OpenXLab平台下载模型。

git clone https://code.openxlab.org.cn/OpenLMLab/internlm2-chat-1.8b.git

我这里已经下载好了，直接软链接过来

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/models/

使用LMDeploy与模型对话

使用LMDeploy与模型进行命令行对话的通用命令格式为：

lmdeploy chat [HF格式模型路径/TurboMind格式模型路径]

我这里执行下面的命令

lmdeploy chat /root/models/internlm2-chat-1_8b

命令行对话效果如下图所示。
在这里插入图片描述

LMDeploy模型量化

量化是一种以参数或计算中间结果精度下降换空间节省（以及同时带来的性能提升）的策略，可以优化 LLM 模型推理中的访存密集问题。主要包括 KV8量化和W4A16量化。KV8量化是指将逐 Token（Decoding）生成过程中的上下文 K 和 V 中间结果进行 INT8 量化（计算时再反量化），以降低生成过程中的显存占用。W4A16 量化，将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。Weight Only 是指仅量化权重，数值计算依然采用 FP16（需要将 INT4 权重反量化）。

KV Cache

KV Cache是一种缓存技术，通过存储键值对的形式来复用计算结果，以达到提高性能和降低内存消耗的目的。在大规模训练和推理中，KV Cache可以显著减少重复计算量，从而提升模型的推理速度。理想情况下，KV Cache全部存储于显存，以加快访存速度。当显存空间不足时，也可以将KV Cache放在内存，通过缓存管理器控制将当前需要使用的数据放入显存。

模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。LMDeploy的KV Cache管理器可以通过设置–cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。默认的比例为0.8。
下面通过几个例子，来看调整–cache-max-entry-count参数的效果。首先保持不加该参数（默认0.8），运行1.8B模型。

lmdeploy chat /root/models/internlm2-chat-1_8b

查看资源监视器中的显存占用情况。此时显存占用为7856MB。
在这里插入图片描述
改变–cache-max-entry-count参数，设为0.4。

lmdeploy chat /root/models/internlm2-chat-1_8b --cache-max-entry-count 0.4

查看资源监视器中的显存占用情况。此时显存占用为6152MB。
在这里插入图片描述

W4A16量化

LMDeploy使用AWQ算法，实现模型4bit权重量化。推理引擎TurboMind提供了非常高效的4bit推理cuda kernel，性能是FP16的2.4倍以上。
首先安装一个依赖库。

pip install einops==0.7.0

执行下面的命令，就可以完成模型量化工作。

lmdeploy lite auto_awq \
   /root/models/internlm2-chat-1_8b \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 1024 \
  --w-bits 4 \
  --w-group-size 128 \
  --work-dir /root/internlm2-chat-1_8b-4bit

量化工作结束后，新的HF模型被保存到internlm2-chat-1_8b-4bit目录。输入下面命令使用Chat功能运行W4A16量化后的模型。

lmdeploy chat /root/internlm2-chat-1_8b-4bit --model-format awq

LMDeploy提供API服务

在生产环境下，会将大模型封装为API接口服务，供客户端访问。架构图如下所示：
在这里插入图片描述

启动API服务器

通过以下命令以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，推理internlm2-chat-1_8b-4bit模型：

lmdeploy serve api_server \
    /root/internlm2-chat-1_8b-4bit \
    --model-format awq \
    --quant-policy 1 \
    --cache-max-entry-count 0.4
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

server-name和server-port表示API服务器的服务IP与服务端口；tp参数表示并行数量（GPU数量）。
通过运行以上指令，我们成功启动了API服务器，请勿关闭该窗口，后面我们要新建客户端连接该服务。

命令行客户端连接API服务器

在新的终端中激活conda环境。

conda activate lmdeploy

运行命令行客户端：

lmdeploy serve api_client http://localhost:23333

运行后，可以通过命令行窗口直接与模型对话：

网页客户端连接API服务器

使用Gradio作为前端，启动网页客户端。

lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

运行命令后，网页客户端启动。打开浏览器，访问地址http://127.0.0.1:6006
在这里插入图片描述

Python代码集成

将大模型推理集成到Python代码里面。下面使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。
新建Python源代码文件pipeline.py。填入以下内容。

from lmdeploy import pipeline

pipe = pipeline('/root/internlm2-chat-1_8b')
response = pipe(['Hi, pls intro yourself', '上海是'])
print(response)

保存后运行代码文件

python /root/pipeline.py

在Python代码中，可以通过创建TurbomindEngineConfig，向lmdeploy传递参数。实现模型的量化推理，及设置KV Cache最大占用比例。
将pipeline.py的内容替换成下面：

from lmdeploy import pipeline, TurbomindEngineConfig

# 调低 k/v cache内存占比调整为总显存的 40%
backend_config = TurbomindEngineConfig(cache_max_entry_count=0.4, model_format="awq")

pipe = pipeline('/root/internlm2-chat-1_8b-4bit',
                backend_config=backend_config)
response = pipe(['Hi, pls intro yourself', '上海是'])
print(response)

保存后运行python代码：

python /root/pipeline_kv.py

使用LMDeploy运行视觉多模态大模型llava

最新版本的LMDeploy支持了llava多模态模型，下面演示使用pipeline推理llava-v1.6-7b。
安装llava依赖库。

pip install git+https://github.com/haotian-liu/LLaVA.git@4e2277a060da264c4f21b364c867cc622c945874

新建一个python文件，比如pipeline_llava.py。填入以下内容：

from lmdeploy.vl import load_image
from lmdeploy import pipeline, TurbomindEngineConfig


backend_config = TurbomindEngineConfig(session_len=8192) # 图片分辨率较高时请调高session_len
pipe = pipeline('/share/new_models/liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config)

image = load_image('https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg')
response = pipe(('describe this image', image))
print(response)

保存后运行pipeline_llava.py

python /root/pipeline_llava.py

在这里插入图片描述
通过Gradio来运行llava模型。新建python文件gradio_llava.py，填入以下内容：

import gradio as gr
from lmdeploy import pipeline, TurbomindEngineConfig


backend_config = TurbomindEngineConfig(session_len=8192) # 图片分辨率较高时请调高session_len
# pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config) 非开发机运行此命令
pipe = pipeline('/share/new_models/liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config)

def model(image, text):
    if image is None:
        return [(text, "请上传一张图片。")]
    else:
        response = pipe((text, image)).text
        return [(text, response)]

demo = gr.Interface(fn=model, inputs=[gr.Image(type="pil"), gr.Textbox()], outputs=gr.Chatbot())
demo.launch()

运行python程序。

python /root/gradio_llava.py

在这里插入图片描述

作业

  1. 配置 LMDeploy 运行环境
    在这里插入图片描述

  2. 以命令行方式与 InternLM2-Chat-1.8B 模型对话。
    在这里插入图片描述

  3. 设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。此时显存占用 4936MB。
    在这里插入图片描述
    在这里插入图片描述

  4. 以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。
    在这里插入图片描述
    命令行客户端
    在这里插入图片描述
    Gradio 网页客户端
    在这里插入图片描述

  5. 使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。

from lmdeploy import pipeline, TurbomindEngineConfig

# 调低 k/v cache内存占比调整为总显存的 40%
backend_config = TurbomindEngineConfig(cache_max_entry_count=0.4, model_format="awq")

pipe = pipeline('/root/internlm2-chat-1_8b-4bit',
                backend_config=backend_config)
response = pipe(['Hi, pls intro yourself', '上海是'])
print(response)

在这里插入图片描述
6. 使用 LMDeploy 运行视觉多模态大模型 llava gradio demo。
在这里插入图片描述
7. 将 LMDeploy Web Demo 部署到 OpenXLab 。

辣条少年
关注
  • 21
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
localGPT本地部署的智能文档机器人
01-14
localGPT是一款允许用户在本地设备上使用GPT模型与文档聊天，而无需将数据发送到云端的本地模型部署的聊天机器人。用户可以完全控制自己的数据，无需暴露数据在云上。 localGPT不依赖于互联网连接，所有处理都在用户...
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战
大模型部署-使用OpenVINO部署LLM大语言模型-支持LLama2+ChatGLM3+Qwen7B-项目源码-优质项目实战
04-27
大模型部署_使用OpenVINO部署LLM大语言模型_支持LLama2+ChatGLM3+Qwen7B_项目源码_优质项目实战
书生·浦语大模型实战训练营第二期第五节--LMDeploy 量化部署 LLM&VLM实战--notebook
weixin_61573157的博客
04-15 906
但是可以看到的是，大模型自身的计算量在增加时，其访存量不怎么变化，所以是不是模型自身的计算量上去了，基本就能平衡这个访存量，充分发挥GPU的算力不要再摸鱼了？GPU的显存根本耗不起，A100才80G显存，你自己看看下面这大模型加载的时候都需要这么大的显存，还部署个毛。而且还有KV的缓存，（保证整体模型结构的完整前提下，一块一块的剪掉，可以降低模型复杂性，缺点就是可能会误剪一些好的参数，和漏掉一些坏参数）移除模型中不必要的组件（如参数），保证模型性能下降最小的同时，减小存储需求，提高计算效率。
大模型从入门到入土【二】大模型的部署（VLLM，Lmdeploy）
ran1443765267的博客
06-14 1203
大模型的部署以及使用
LLM推理引擎性能评测对比：vllm、lmdeploy、tensorrt-llm
最新发布
stephen147的博客
06-28 983
但从使用体验上看，vllm，lmdeploy使用方便，直接从model hub下载模型即可，而tensorrt-llm需要转换和编译模型，并且创建合适的引擎环境也有一定的成本，需要tensorrt-llm，triton server以及tensorrt-llm backend，格步骤参数有一定关联性，极易出错，总体使用成本对比会高不少。在prefill阶段后返回的第一个token的时间，在stream输出模式下，对体验影响大，越小用户等待返回第一个token时间越小，体验越好。每秒处理完成的请求数。
LMDeploy高效部署Llama-3-8B，1.8倍vLLM推理效率
qq_39967751的博客
04-26 1576
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。书生·浦语和机智流社区同学光速投稿了 LMDeploy 高效量化部署 Llama 3，欢迎 Star。本文将分为以下几个部分来介绍，如何使用LMDeploy来部署 Llama3（以 InternStudio 的环境为例）环境、模型准备。
用 LMDeploy 高效部署 Llama-3-8B，1.8倍vLLM推理效率
机器学习社区
04-24 1285
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3-8B 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。
LMDeploy量化部署&VLM实践
2401_83218582的博客
04-16 691
LMDeploy核心功能：（1）模型高效推理 参考命令：IMdeploy chat -h(2)模型量化压缩 参考命令：IMdeploy lite -h(3)服务化部署 参考命令：IMdeploy serve -hLMDeploy推理视觉多模态大模型：5.实践部分：（1）LMDeploy环境部署创建conda环境：安装LMDeploy:激活刚刚创建的虚拟环境。安装0.3.0版本的lmdeploy。等待安装结束就OK了！LMDeploy模型对话（chat)
LMDeploy 量化部署 LLM&VLM实战--笔记
taotao_zhang1的博客
04-12 961
打开InternStudio平台，创建开发机。填写开发机名称；选择镜像；选择10% A100*1GPU；点击“立即创建”。排队等待一小段时间，点击“进入开发机”。点击左上角图标，切换为终端(Terminal)模式。
LMDeploy 大模型量化部署实践
zhjunqin的博客
01-14 1171
下图中，左边主要对比 LMDeploy 自身在量化前后的性能；右边主要对比 vLLM 和 LMDeploy 的性能对比。量化后，显存占用量显著减少，其中包括权重和 KV Cache。由于 GPU 的计算需要将权重从 GPU 主存 -> GPU 共享内存，因此量化显著减少了数据的传输量，提高了整体效率。AWQ 算法全称：Activation-aware Weight Quantization。
Python_LMDeploy是一个用于压缩部署和服务llm的工具包.zip
05-24
Python_LMDeploy 是一个专为简化LLM（Local Language Model）部署和服务设计的工具包。这个工具包的核心目标是帮助开发者将训练好的语言模型快速、有效地部署到生产环境中，以便为用户提供高效、准确的语言处理服务...
算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
06-05
算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip算法部署-使用TensorRT-LLM...
PAI BladeLLM推理引擎: 超长上下文、更高性能
科技很有意思
09-19 487
超长上下文是LLM发展的必然趋势，而当前主流的LLM推理和服务引擎所支持的上下文长度以及超长上下文的推理性能都远远不够，以上分享了一些关于BladeLLM对超长上下文的支持以及超长上下文推理性能，欢迎大家交流讨论。此外，除了关注超长上下文场景，BladeLLM也会持续关注推理的多个技术方向，包括低比特量化压缩、多轮对话、极致内核优化、编译优化等，后续我们也会有更多的技术分享对外公开，欢迎大家持续关注！
书生·浦语大模型实战营——LMDeploy 量化部署 LLM-VLM 实践
weixin_44219510的博客
04-12 626
在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。
LMDeploy 量化部署 LLM&VLM 实践
2301_77641278的博客
04-16 1827
在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程。在人工智能领域，模型部署是实现深度学习算法落地应用的关键步骤。简单来说，模型部署就是将训练好的深度学习模型在特定环境中运行的过程。LMDeploy 由 MMDeploy和MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。
VLM，LLM等大模型如何应用于机器人控制(以强化学习为例)
weixin_48878618的博客
01-06 1700
再将这个信息传递给LLM模型，由它决定，接下来做什么任务合适，再将相关信息全部传递给DQN(一种强化学习模型)，由该模型输出相应的动作A(如机械臂不同关节移动的角度，移动机器人的移动方位等)，执行相应动作后，会出现新的状态S'，再将这个状态传递给VLM，重新对当前状态进行语义分析，并通过LM模型和之前LLM模型给出的任务指示进行对比，得到语义之间相关性的高低，最终给出奖励R，再将奖励R传递给DQN，不断调整策略Π。：视觉语义模型，准确识别图中有什么，处于什么状态，以及不同物体之间的关联。
进阶：LMDeploy 大模型量化部署实践
weixin_42112760的博客
01-24 1255
如何优化 LLM 模型推理中的访存密集问题呢？我们可以使用 KV Cache 量化和 4bit Weight Only 量化（W4A16）。KV Cache 量化是指将逐 Token（Decoding）生成过程中的上下文 K 和 V 中间结果进行 INT8 量化（计算时再反量化），以降低生成过程中的显存占用。4bit Weight 量化，将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。
LLM+VLM代码示例
08-21
当然，我可以给你提供一些 VLM (Visual Light Communication) 和 LLM (Low Level Message) 的代码示例。以下是一个简单的VLM代码示例： ```python import time import RPi.GPIO as GPIO # 设置GPIO引脚 LED_PIN = 18 # 初始化GPIO GPIO.setmode(GPIO.BCM) GPIO.setup(LED_PIN, GPIO.OUT) def transmit_message(message): for char in message: # 将字符转换为二进制 binary = bin(ord(char))[2:].zfill(8) # 发送二进制信号 for bit in binary: if bit == '1': GPIO.output(LED_PIN, GPIO.HIGH) else: GPIO.output(LED_PIN, GPIO.LOW) # 控制发送速度（根据实际情况调整） time.sleep(0.1) # 两个字符之间的间隔时间（根据实际情况调整） time.sleep(0.5) # 发送消息 transmit_message("Hello, World!") # 清理GPIO资源 GPIO.cleanup() ``` 这个示例使用树莓派的GPIO引脚来模拟光通信，通过控制LED的亮灭来传输二进制信号。 以下是一个简单的LLM代码示例，这里假设你是在C语言环境下进行开发： ```c #include <stdio.h> #include <string.h> // 定义消息缓冲区大小 #define BUFFER_SIZE 100 void process_message(char* message) { // 在这里实现对消息的处理逻辑 printf("Received message: %s\n", message); } int main() { char buffer[BUFFER_SIZE]; // 模拟接收消息 printf("Enter a message: "); fgets(buffer, BUFFER_SIZE, stdin); // 去除换行符 buffer[strcspn(buffer, "\n")] = '\0'; // 处理消息 process_message(buffer); return 0; } ``` 这个示例是一个简单的命令行程序，通过用户输入来模拟接收消息，并在控制台上输出收到的消息。 希望这些示例能对你有所帮助！如果你有任何其他问题，可以继续问我。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值