lmdeploy量化部署

yiric

已于 2024-03-01 22:19:51 修改

阅读量446

点赞数 8

文章标签：大数据

于 2024-01-27 21:33:39 首次发布

本文链接：https://blog.csdn.net/weixin_47233613/article/details/135888663

版权

本文探讨了大模型的内存挑战，包括其大参数量带来的内存开销和动态shape的问题，以及如何通过模型转换、TurboMind的FasterTransformer技术和离线转换来应对部署难题，包括服务化和API支持。

摘要由CSDN通过智能技术生成

大模型特点

内存开销大
- 庞大的参数量；7B模型仅权重就需要14+G内存
- 采用自回归生成tokrn，需要缓存Attention的k/v，带来巨大的内存开销
动态shape
- 请求数不固定
- token逐个生成，且数量不定
相对视觉模型，LLM结构简单
- Transformers结构，大部分是decoder-only

大模型部署挑战

设备
- 如何应对巨大的存储问题？低存储设备（消费级显卡、手机等）如何部署
推理
- 如何加速token的生成毒素
- 如何解决动态shape，让推理可以不间断
- 如何有效管理和利用内存
服务
- 如何提升系统整体吞吐量
- 对于个体用户，如何降低相应事件

大模型部署方案

技术点
- 模型并行
- 低比特量化
- Page Attention
- transformer计算和访存优化
- Continuous Batch
方案
- huggingface transformers
- 专门的推理加速框架
  - 云端
    - lmdeploy
    - vllm
    - tensorrt-llm
    - deepspeed
  - 移动端
    - llama.cpp
    - mlc-llm

2.1 模型转换

使用 TurboMind 推理模型需要先将模型转化为 TurboMind 的格式，目前支持在线转换和离线转换两种形式。在线转换可以直接加载 Huggingface 模型，离线转换需需要先保存模型再加载。

TurboMind 是一款关于 LLM 推理的高效推理引擎，基于英伟达的 FasterTransformer 研发而成。它的主要功能包括：LLaMa 结构模型的支持，persistent batch 推理模式和可扩展的 KV 缓存管理器。

2.1.1 在线转换

lmdeploy 支持直接读取 Huggingface 模型权重，目前共支持三种类型：

在 huggingface.co 上面通过 lmdeploy 量化的模型，如 llama2-70b-4bit, internlm-chat-20b-4bit
huggingface.co 上面其他 LM 模型，如 Qwen/Qwen-7B-Chat

转化命令

# 需要能访问 Huggingface 的网络环境
lmdeploy chat turbomind internlm/internlm-chat-20b-4bit --model-name internlm-chat-20b
lmdeploy chat turbomind Qwen/Qwen-7B-Chat --model-name qwen-7b

如图

我们也可以直接启动本地的 Huggingface 模型，如下所示。

lmdeploy chat turbomind /share/temp/model_repos/internlm-chat-7b/  --model-name internlm-chat-7b

以上命令都会启动一个本地对话界面，通过 Bash 可以与 LLM 进行对话。

2.1.2 离线转换

离线转换需要在启动服务之前，将模型转为 lmdeploy TurboMind 的格式，如下所示。

lmdeploy convert internlm-chat-7b  /root/share/temp/model_repos/internlm-chat-7b/

执行完成后将会在当前目录生成一个 workspace 的文件夹。这里面包含的就是 TurboMind 和 Triton “模型推理”需要到的文件。

目录如下图所示

2.2 TurboMind 推理+命令行本地对话

模型转换完成后，我们就具备了使用模型推理的条件，接下来就可以进行真正的模型推理环节。

我们先尝试本地对话（Bash Local Chat），下面用（Local Chat 表示）在这里其实是跳过 API Server 直接调用 TurboMind。简单来说，就是命令行代码直接执行 TurboMind。所以说，实际和前面的架构图是有区别的。

这里支持多种方式运行，比如Turbomind、PyTorch、DeepSpeed。但 PyTorch 和 DeepSpeed 调用的其实都是 Huggingface 的 Transformers 包，PyTorch表示原生的 Transformer 包，DeepSpeed 表示使用了 DeepSpeed 作为推理框架。Pytorch/DeepSpeed 目前功能都比较弱，不具备生产能力，不推荐使用。

执行命令如下

# Turbomind + Bash Local Chat
lmdeploy chat turbomind ./workspace

启动后就可以和它进行对话了，如下图所示

2.3 TurboMind推理+API服务

在上面的部分我们尝试了直接用命令行启动 Client，接下来我们尝试如何运用 lmdepoy 进行服务化。

”模型推理/服务“目前提供了 Turbomind 和 TritonServer 两种服务化方式。此时，Server 是 TurboMind 或 TritonServer，API Server 可以提供对外的 API 服务。我们推荐使用 TurboMind，TritonServer 使用方式详见《附录1》。

首先，通过下面命令启动服务

# ApiServer+Turbomind   api_server => AsyncEngine => TurboMind
lmdeploy serve api_server ./workspace \
	--server_name 0.0.0.0 \
	--server_port 23333 \
	--instance_num 64 \
	--tp 1