LMDeploy 高效部署 Llama3 实践

已于 2024-05-11 00:04:12 修改
阅读量899 收藏 19
点赞数 7
文章标签： 人工智能
于 2024-05-10 23:09:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_65719612/article/details/138634868
版权

Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，lmdeploy团队对 Llama 3 部署进行了光速支持！！！

书生·浦语和机智流社区同学光速投稿了 LMDeploy 高效量化部署 Llama 3，欢迎 Star。

GitHub - InternLM/lmdeploy: LMDeploy is a toolkit for compressing, deploying, and serving LLMs.

GitHub - SmartFlowAI/Llama3-Tutorial: Llama3-Tutorial（XTuner、LMDeploy、OpenCompass）

本文将分为以下几个部分来介绍，如何使用LMDeploy来部署Llama3

  • 环境，模型准备
  • LMDeploy chat
  • LMDeploy模型量化(lite)
  • LMDeploy服务(serve)

1. 环境，模型准备

1.1 环境配置

# 如果你是InternStudio 可以直接使用
# studio-conda -t lmdeploy -o pytorch-2.1.2
# 初始化环境
conda create -n lmdeploy python=3.10
conda activate lmdeploy
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

安装lmdeploy最新版。

pip install -U lmdeploy[all]

1.2 Llama3 的下载

新建文件夹

mkdir -p ~/model
cd ~/model

从OpenXLab中获取权重（开发机中不需要使用此步）

安装 git-lfs 依赖

# 如果下面命令报错则使用 apt install git git-lfs -y
conda install git-lfs
git-lfs install

或者软链接 InternStudio 中的模型
ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

2. LMDeploy Chat CLI 工具

直接在终端运行

conda activate lmdeploy
lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct

运行结果是： 

3. LMDeploy模型量化(lite)

本部分内容主要介绍如何对模型进行量化。主要包括 KV8量化和W4A16量化。

3.1 设置最大KV Cache缓存大小

模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。LMDeploy的KV Cache管理器可以通过设置--cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。默认的比例为0.8。

下面通过几个例子，来看一下调整--cache-max-entry-count参数的效果。首先保持不加该参数（默认0.8），运行 Llama3-8b 模型。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/

新建一个终端运行

# 如果你是InternStudio 就使用
# studio-smi
nvidia-smi

此时模型的占用为23133M。下面，改变--cache-max-entry-count参数，设为0.5。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.5

新建一个终端运行

# 如果你是InternStudio 就使用
# studio-smi
nvidia-smi

看到显存占用明显降低，变为20541M。

面来一波“极限”，把--cache-max-entry-count参数设置为0.01，约等于禁止KV Cache占用显存。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct/ --cache-max-entry-count 0.01

然后与模型对话，可以看到，此时显存占用仅为16221M，代价是会降低模型推理速度。

3.2 使用W4A16量化

仅需执行一条命令，就可以完成模型量化工作。

lmdeploy lite auto_awq \
   /root/model/Meta-Llama-3-8B-Instruct \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 1024 \
  --w-bits 4 \
  --w-group-size 128 \
  --work-dir /root/model/Meta-Llama-3-8B-Instruct_4bit

运行时间较长，请耐心等待。量化工作结束后，新的HF模型被保存到Meta-Llama-3-8B-Instruct_4bit目录。下面使用Chat功能运行W4A16量化后的模型。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq

21170MB

为了更加明显体会到W4A16的作用，我们将KV Cache比例再次调为0.01，查看显存占用情况。

lmdeploy chat /root/model/Meta-Llama-3-8B-Instruct_4bit --model-format awq --cache-max-entry-count 0.01

可以看到，显存占用变为6546MB，明显降低。

3.3 在线量化 KV

自 v0.4.0 起，LMDeploy KV 量化方式有原来的离线改为在线。并且，支持两种数值精度 int4、int8。量化方式为 per-head per-token 的非对称量化。它具备以下优势：

  1. 量化不需要校准数据集
  2. kv int8 量化精度几乎无损，kv int4 量化精度在可接受范围之内
  3. 推理高效，在 llama2-7b 上加入 int8/int4 kv 量化，RPS 相较于 fp16 分别提升近 30% 和 40%
  4. 支持 volta 架构（sm70）及以上的所有显卡型号：V100、20系列、T4、30系列、40系列、A10、A100 等等 通过 LMDeploy 应用 kv 量化非常简单，只需要设定 quant_policy 参数。LMDeploy 规定 qant_policy=4表示 kv int4 量化，quant_policy=8 表示 kv int8 量化。

4. LMDeploy服务（serve）

在前面的章节，我们都是在本地直接推理大模型，这种方式成为本地部署。在生产环境下，我们有时会将大模型封装为 API 接口服务，供客户端访问。

4.1 启动API服务器

通过以下命令启动API服务器，推理Meta-Llama-3-8B-Instruct模型：

lmdeploy serve api_server \
    /root/model/Meta-Llama-3-8B-Instruct \
    --model-format hf \
    --quant-policy 0 \
    --server-name 0.0.0.0 \
    --server-port 23333 \
    --tp 1

其中，model-format、quant-policy这些参数是与第三章中量化推理模型一致的；server-name和server-port表示API服务器的服务IP与服务端口；tp参数表示并行数量（GPU数量）。 通过运行以上指令，我们成功启动了API服务器，请勿关闭该窗口，后面我们要新建客户端连接该服务。 你也可以直接打开http://{host}:23333查看接口的具体使用说明，如下图所示。

注意，这一步由于Server在远程服务器上，所以本地需要做一下ssh转发才能直接访问。在你本地打开一个cmd窗口，输入命令如下：

ssh -CNg -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的ssh端口号

ssh 端口号就是下面图片里的 47925，请替换为你自己的。

然后打开浏览器，访问http://127.0.0.1:23333。

4.2 命令行客户端连接API服务器

在“4.1”中，我们在终端里新开了一个API服务器。 本节中，我们要新建一个命令行客户端去连接API服务器。首先通过VS Code新建一个终端： 激活conda环境

conda activate lmdeploy

运行命令行客户端：

lmdeploy serve api_client http://localhost:23333

运行后，可以通过命令行窗口直接与模型对话

4.3 网页客户端连接API服务器

关闭刚刚的VSCode终端，但服务器端的终端不要关闭。 运行之前确保自己的gradio版本低于4.0.0。

pip install gradio==3.50.2

新建一个VSCode终端，激活conda环境。

conda activate lmdeploy

使用Gradio作为前端，启动网页客户端。

lmdeploy serve gradio http://localhost:23333 \
    --server-name 0.0.0.0 \
    --server-port 6006

打开浏览器，访问地址http://127.0.0.1:6006 然后就可以与模型进行对话了！

拓展部分：

5. 推理速度

使用 LMDeploy 在 A100（80G）推理 Llama3，每秒请求处理数（RPS）高达 25，是 vLLM 推理效率的 1.8+ 倍。

  • 克隆仓库
cd ~
git clone https://github.com/InternLM/lmdeploy.git
  • 下载测试数据
cd /root/lmdeploy
wget https://hf-mirror.com/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered/resolve/main/ShareGPT_V3_unfiltered_cleaned_split.json
  • 执行 benchmark 命令(如果你的显存较小，可以调低--cache-max-entry-count)
  • 30% A100则--cache-max-entry-count为0.3 
python benchmark/profile_throughput.py \
    ShareGPT_V3_unfiltered_cleaned_split.json \
    /root/model/Meta-Llama-3-8B-Instruct \
    --cache-max-entry-count 0.3 \
    --concurrency 256 \
    --model-format hf \
    --quant-policy 0 \
    --num-prompts 10000

注意：需要注释profile_throughput.py的286行，否则会报错的。

结果是：

30% A100测试
concurrency: 256
elapsed_time: 2469.746s

first token latency(s)(min, max, ave): 1.896, 71.612, 48.118
per-token latency(s) percentile(50, 75, 95, 99): [0.035, 0.058, 0.259, 0.452]

number of prompt tokens: 2238364
number of completion tokens: 2005448
token throughput (completion token): 812.006 token/s
token throughput (prompt + completion token): 1718.319 token/s
RPS (request per second): 4.049 req/s
RPM (request per minute): 242.940 req/min

6. 使用LMDeploy运行视觉多模态大模型Llava-Llama-3

6.1 安装依赖

pip install git+https://github.com/haotian-liu/LLaVA.git

6.2 运行模型

运行touch /root/pipeline_llava.py 新建一个文件夹，复制下列代码进去

from lmdeploy import pipeline, ChatTemplateConfig
from lmdeploy.vl import load_image
pipe = pipeline('xtuner/llava-llama-3-8b-v1_1-hf',
                chat_template_config=ChatTemplateConfig(model_name='llama3'))

image = load_image('https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg')
response = pipe(('describe this image', image))
print(response.text)

运行结果为： 

图像是这个。

结果准确还不错。

你可以在 https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-hf 找到更多细节

教程如有误请访问获取最新内容： GitHub - SmartFlowAI/Llama3-Tutorial: Llama3-Tutorial（XTuner、LMDeploy、OpenCompass）

LMDeploy仓库：GitHub - InternLM/lmdeploy: LMDeploy is a toolkit for compressing, deploying, and serving LLMs.

m0_65719612
关注
  • 7
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Docker下部署LLAMA 2
08-09
本指南主要介绍如何在docker下部署LLAMA 2，附带命令代码和docker文件的编辑代码
llama3-8b tokenizer.model
06-11
总结来说，“llama3-8b tokenizer.model”是针对大型语言模型LLAMA的高效分词工具，它通过将文本转换为模型可理解的数字表示，极大地推动了深度学习在自然语言处理领域的应用。正确理解和使用这个tokenizer，对于...
LMDeploy高效部署Llama-3-8B，1.8倍vLLM推理效率
qq_39967751的博客
04-26 1663
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。书生·浦语和机智流社区同学光速投稿了 LMDeploy 高效量化部署 Llama 3，欢迎 Star。本文将分为以下几个部分来介绍，如何使用LMDeploy来部署 Llama3（以 InternStudio 的环境为例）环境、模型准备。
LLM推理引擎性能评测对比：vllm、lmdeploy、tensorrt-llm
stephen147的博客
06-28 1553
但从使用体验上看，vllm，lmdeploy使用方便，直接从model hub下载模型即可，而tensorrt-llm需要转换和编译模型，并且创建合适的引擎环境也有一定的成本，需要tensorrt-llm，triton server以及tensorrt-llm backend，格步骤参数有一定关联性，极易出错，总体使用成本对比会高不少。在prefill阶段后返回的第一个token的时间，在stream输出模式下，对体验影响大，越小用户等待返回第一个token时间越小，体验越好。每秒处理完成的请求数。
LMDeploy量化部署LLM&VLM
weixin_45924641的博客
04-18 1120
LMDeploy量化部署InternLM2-chat-1.8B & LLaVa
用 LMDeploy 高效部署 Llama-3-8B，1.8倍vLLM推理效率
机器学习社区
04-24 1364
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3-8B 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。
【AI大模型开发者指南】llama3命令行部署、量化、作为服务——lmdeploy实战
m0_48862433的博客
05-04 1792
0.80.50.010.0001origin68g/80g48g/80g16g/80g16g/80g4bit66g/80g43g/80g7g/80g6g/80g注意，当kv0.0001时模型均不会输出，最小可用模型为4bit+kv0.01，简单问答效果和origin+kv0.8相当。
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
总结而言，这个项目提供了一个完整的实践路径，让开发者能够学习到如何使用OpenVINO将大型语言模型LLaMa3本地化部署。通过源码和教程，你可以深入了解OpenVINO的工作原理，掌握模型转换和推理的关键步骤，同时提升在...
Llama3模型+Windows本地运行软件（下载地址）
05-20
Meta放出Llama3模型了，也应该是这段时间里的一个科技大新闻了。 Llama一直都是开源大语言模型的领头羊驼。 而Llama3又是所有羊驼中最新的领头羊。 可以简单地来看一下官方的对比数据。 下面是Llama3和谷歌...
大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战.zip
03-26
本项目实战旨在教你如何在本地计算机上部署大型语言模型LLaMA（Large Language Models like MAth）进行推理工作，覆盖Windows、Linux和Mac操作系统。大模型部署是一项技术性极强的任务，涉及到高性能计算、资源管理...
OpenAI最新模型来了！什么是GPT-4o？如何开启GPT-4o教程！
youmaob的博客
05-15 1406
5月13日上午10点，OpenAI发布了GPT-4的迭代版本，GPT-4o。GPT-4o (“o” for “omni”)，意思是更全能。免费给所有人使用，功能方面速度大幅度提升，处理文字、图片、语音会更快反应出来，GPT-4o 支持50种语言，可以进行实时语言同声翻译，还可以通过摄像头识别人类表情和情绪，并且通过语音来表达，GPT-4o不管是在语音、视觉功能上算得上目前最高模型的水平了。
书生·浦语大模型实战营之Llama 3 高效部署实践（LMDeploy 版）
段智华的博客
04-24 1435
书生·浦语大模型实战营之Llama 3 高效部署实践（LMDeploy 版） InternStudio 可以直接使用 软链接 InternStudio 中的模型 LMDeploy chat Huggingface与TurboMind HuggingFace HuggingFace是一个高速发展的社区，包括Meta、Google、Microsoft、Amazon在内的超过5000家组织机构在为HuggingFace开源社区贡献代码、数据集和模型。可以认为是一个针对深度学习模型和数据集的在线托管社区，如果你有
快速体验 Llama3 的 4 种方式，本地部署，800 tokens/s 的推理速度真的太快了！
weixin_43829633的博客
04-26 1837
北京时间4月19日凌晨，Meta在官网上官宣了Llama-3，作为继Llama1、Llama2和CodeLlama之后的第三代模型，Llama3在多个基准测试中实现了全面领先，性能优于业界同类最先进的模型，你有没有第一时间体验上呢，这篇文章就分享下如何在Groq上以超过 800 tokens/s 的魔鬼推理速度体验Llama3，会同时分享Web端、移动端、API方式以及集成到LangChain中4种体验方案。我的新书已经开售！
Llama 3 五一超级课堂 笔记 ==＞ 第四节、Llama 3 高效部署实践（LMDeploy 版）
weixin_49477258的博客
05-09 581
Llama 3 高效部署实践（LMDeploy 版）
使用VLLM部署llama3量化版
m0_57057282的博客
06-21 340
messages=["}
使用 vllm 本地部署 Llama3-8b-Instruct
engchina的专栏
04-20 1943
使用 vllm 本地部署 Llama3-8b-Instruct
Llama3-Tutorial之LMDeploy高效部署Llama3实践
weixin_57873675的博客
05-13 1018
书生·浦语和机智流社区同学光速投稿了 LMDeploy 高效量化部署 Llama 3。
本地部署 Llama3 – 8B/70B 大模型！
最新发布
2401_84494441的博客
07-09 782
本地部署大模型可带来飞一般的体验，可降低延迟可微调属于私人的大模型数据安全得以保证。
笔记本电脑安装属于自己的Llama 3 8B大模型和对话客户端
2401_84204413的博客
06-15 1376
现在我们的Llama 模型聊天机器人已准备就绪，我们想问什么就可以问什么，尽情享受吧。当然，我们废了大半天劲，如果只是和模型简单的聊聊天，那就有点可惜了，或者说如果要人工输入，那我们本地部署的意义就不大。假设能够通过程序的方式，自动调用本地部署的Llama 模型是不是可以提供我们工作效率；Llama 模型自然语言生成：Llama 3 能够生成连贯、高质量的文本，包括文章、故事、诗歌等创意写作，以及邮件、报告等实用文体。对话系统。
手机部署llama3
05-31
如果您想在手机上部署 Llama3，您需要将 Llama3 应用程序部署到云端服务器或虚拟主机中，然后在手机上使用浏览器访问该应用程序的 URL。具体步骤如下： 1. 在云端服务器或虚拟主机中安装 Python 和 Llama3 库。 2. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值