【InternLM 实战营第二期笔记5】LMDeploy 量化部署 LLM-VLM 实践

已于 2024-04-16 16:40:28 修改
阅读量938 收藏 18
点赞数 17
分类专栏： nlp 文章标签： 笔记 人工智能 语言模型 nlp
于 2024-04-16 16:37:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45776432/article/details/137759393
版权

目录

Intro

大模型部署的痛点 

目前常用的模型部署方法（三类）

动手实践

配置 LMDeploy 运行环境

以命令行方式与 InternLM2-Chat-1.8B 模型对话

LMDeploy模型量化

模型量化-1.设置最大KV Cache缓存大小

模型量化-2. 使用W4A16量化

参考内容

课程文档 Link: Tutorial/lmdeploy/README.md at camp2 · InternLM/Tutorial · GitHub

视频链接：LMDeploy 量化部署 LLM-VLM 实践_哔哩哔哩_bilibili

Intro

之前的课程中学习了：1）使用RAG范式开发大模型 2）使用XTuner微调大模型，这些的目的都是为了能够使大模型的回答更加贴合我们的需求。但最终，模型都是要服务于实际业务场景，这个时候就涉及到模型部署。

模型部署Definition：将训练好的模型，部署到服务器端 or 边缘端。

  • 需要考虑很多问题：比如在服务器端部署，假设部署到集群，如何进行分布式推理大模型；边缘端的计算能力是否足够
  • 在实际部署时会遇到很多难点，比如：大模型的参数量和计算量非常巨大，那么如何在有限的资源中，加载和推理大模型？

大模型部署的痛点 

1. 计算量巨大

2. 内存开销巨大 

以16浮点数为例，每个参数占用2个字节。那么20B模型，加载参数40G+ 显存，10.3G缓存，加起来就要至少50.3G 显存。

3.访存瓶颈与动态请求 

目前常用的模型部署方法（三类）

目的：减少模型的冗余参数

1. 模型剪枝

2. 知识蒸馏

3. 量化（核心：把浮点数转换为整数 or 其他离散形式）

模型参数存储一般是以32位浮点数进行存储的，一个参数占用4个字节。存在一些冗余的情况，在满足回答的情况下，可以将浮点数转换为定点数（比如：8位，4位 or平均1位的整数）。

  • 优点：模型量化可以提升efficiency，提升速度！（大模型，访存密集型，访存远大于计算的瓶颈，通过量化可以把访存量降低， 可以显著降低数据传输所用的时间）

动手实践

完成以下任务，并将实现过程记录截图：

  • 配置 LMDeploy 运行环境

# 配置 LMDeploy 运行环境
studio-conda -t lmdeploy -o pytorch-2.1.2

# 激活刚刚创建的虚拟环境，并安装0.3.0版本的lmdeploy
conda activate lmdeploy
pip install lmdeploy[all]==0.3.0
在10% A100开发机上，配置lmdeploy环境

 注： Huggingface与TurboMind大致介绍（截图来自课程文档，详细可以看页首的课程文档link！）

  • 以命令行方式与 InternLM2-Chat-1.8B 模型对话

对话截图

 注：这里对比一下和传统的使用Transformer库运行的区别

  • Transformer库是Huggingface社区推出的用于运行HF模型的官方库。

对比一下使用Transformer来直接运行InternLM2-Chat-1.8B模型，以及LMDeploy的使用感受，速度明显比原生Transformer快！

LMDeploy模型量化

模型量化-1.设置最大KV Cache缓存大小

 上述运行chat的时候，占用显存为如下图：

可以通过上图的显存占用情况发现，占显存还是比较多的，那么能否进行显存占用呢？ 

# 尝试这个命令，设成0.01，约等于禁用KV Cache占用显存
lmdeploy chat /root/internlm2-chat-1_8b --cache-max-entry-count 0.01

 运行完这个命令之后显存占用，从原来7856M到4552M，有降低！

模型量化-2. 使用W4A16量化

只用输入下面这个命令就可以完成量化：

lmdeploy lite auto_awq \
   /root/internlm2-chat-1_8b \
  --calib-dataset 'ptb' \
  --calib-samples 128 \
  --calib-seqlen 1024 \
  --w-bits 4 \
  --w-group-size 128 \
  --work-dir /root/internlm2-chat-1_8b-4bit

参数注释：

  • lite auto_awq:使用自动awq算法
  • 采用‘ptb’数据集
  • 采样128个数据对
  • 量化上下文长度：1024
  • 量化工作结束后，新的HF模型被保存到internlm2-chat-1_8b-4bit目录( --work-dir /root/internlm2-chat-1_8b-4bit)

 运行完上面量化命令后，得到量化后的model，可以进行测试：

lmdeploy chat /root/internlm2-chat-1_8b-4bit --model-format awq --cache-max-entry-count 0.01

此时的显存占用：

显存此时只占用2436M，也有很大降低

参考内容

1. 这个笔记内容非常详尽，可以参考👍🏻[InternLM2]LMDeploy 量化部署 LLM&VLM 实践【书生·浦语大模型实战营第二期第五节笔记和作业】 - 知乎 (zhihu.com)

2. 关于模型量化之AWQ，下面这两个博客都不错:

AWQ模型量化实践-CSDN博客

大模型量化之 AWQ 方法 - 知乎

ALE.code
关注
  • 17
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于InternLM_LLM-7B + xtuner 微调 并用lmdeploy量化的模型openxlab部署
01-17
基于InternLM_LLM-7B + xtuner 微调 并用lmdeploy量化的模型openxlab部署
【InternLM 实战营第二期笔记05】LMDeploy 量化部署 LLM-VLM 实践
qq_74261455的博客
04-14 1201
模型部署是指将训练好的机器学习或深度学习模型集成到实际应用中，使其能够对外提供服务的过程。这通常涉及将模型从训练环境中导出，并将其部署到生产环境，以便在实际应用中使用。模型部署是实现机器学习或深度学习价值的关键环节，只有将模型部署到实际应用中，才能发挥其作用，为企业或个人带来实际效益。
LMDeploy 量化部署 LLM-VLM 实践(InternLM 实战营第五次作业)
m0_65597091的博客
04-14 312
在3中，我们已经下载好了InternLM2-Chat-1.8B的HF模型。下面我们先用Transformer来直接运行InternLM2-Chat-1.8B模型，后面对比一下LMDeploy的使用感受。InternStudio开发机创建conda环境，由于环境依赖项存在torch，下载过程可能比较缓慢。首先进入一个你想要存放模型的目录，本教程统一放置在Home目录。执行完如上指令后，可以运行“ls”命令。激活刚刚创建的虚拟环境，安装0.3.0版本的lmdeploy。文件夹，即下载好的预训练模型。
【InternLM 实战营第二期笔记】LMDeploy 量化部署 LLM&VLM实战
JeffDing
04-17 605
是一个高速发展的社区，包括Meta、Google、Microsoft、Amazon在内的超过5000家组织机构在为HuggingFace开源社区贡献代码、数据集和模型。可以认为是一个针对深度学习模型和数据集的在线托管社区，如果你有数据集或者模型想对外分享，网盘又不太方便，就不妨托管在HuggingFace。托管在HuggingFace社区的模型通常采用HuggingFace格式存储，简写为HF格式。但是HuggingFace社区的服务器在国外，国内访问不太方便。国内可以使用阿里巴巴的MindScope。
学习笔记 | LMDeploy 量化部署 LLM-VLM 实践
DrFlown的博客
04-22 887
根据InternLM2技术报告提供的模型参数数据，以及KV Cache空间估算方法，以FP16为例，在batch-size为16、输入512 tokens、输出32 tokens的情境下，仅20B模型就会产生10.3GB的缓存。该过程在新版本的LMDeploy中是自动进行的，无需用户操作。​ TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。
大模型部署-使用OpenVINO部署LLM大语言模型-支持LLama2+ChatGLM3+Qwen7B-项目源码-优质项目实战
04-27
大模型部署_使用OpenVINO部署LLM大语言模型_支持LLama2+ChatGLM3+Qwen7B_项目源码_优质项目实战
RAG部署-使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG-优质大模型部署项目实战.zip
04-09
RAG部署_使用TensorRT-LLM在Windows上部署检索增强生成聊天机器人RAG_优质大模型部署项目实战
算法部署-使用TensorRT-LLM部署llama大模型-毕业设计-附详细性能优化+分析+实现流程教程-优质大模型部署项目实战
03-06
算法部署_使用TensorRT-LLM部署llama大模型_毕业设计_附详细性能优化+分析+实现流程教程_优质大模型部署项目实战
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战
Linux知识点笔记
exercise_smile的博客
05-16 880
Linux 主要的发行版(release):Ubuntu(乌班图)、 RedHat(红帽)、 CentOS、 Debain[蝶变]、 Fedora、 SuSE、 OpenSUSE [示意图]在 linux 中的每个用户必须属于一个组， 不能独立于组外。在 linux 中每个文件 有所有者、 所在组、 其它组的概念。ls -l 中显示的内容如下：0-9 位说明：第 0 位确定文件类型(d, - , l , c , b)l 是链接， 相当于 windows 的快捷方式。
推荐系统学习笔记（一）
weixin_44880995的博客
05-15 143
同类策略（精排中的两种模型）天然互斥，并且（两条召回通道）效果会相互影响，避免干扰。反转：有的指标立刻影响，有的需要长期观测-------尽快推全也可以长期观测。10%作为holdout桶，实验使用剩余的90%，做diff（需要归一化）不同策略（添加召回通道，优化粗排模型）通常不会干扰，可以作为正交的两层。保留10%，完全不受实验影响，可以考察整个部门对业务指标的贡献。同层互斥----避免一个用户被两个实验影响。不同层正交----每层独立随机分配用户。推全：新层，与其他层正交，90%用户。
Vue3实战笔记（23）—路由Vue-Router 实战指南（关于路由命名那点事儿）
山花的博客
05-15 1037
除了 path 之外，你还可以为任何路由提供 name。在 Vue Router 中，命名路由是一种通过指定名称来标识路由的方式，而不是使用路径。这为路由的跳转提供了一种更直观和易于维护的方式。命名路由特别有用，尤其是在链接到路由时，不必硬编码 URL，也不必在路由对象中查找路径字符串。},在这个例子中，我们给路径为 /user/:username的路由命名为 user。User在这两种情况下，路由将导航到路径 /user/erina。
并发编程笔记3--synchronize底层实现原理
qq_41056506的博客
05-17 737
Java中每一个对象都可以作为锁，具体的表现为以下3中方式当一个线程试图访问同步代码块时，他必须先获得锁。退出或抛出异常必须释放锁。那么锁到底存在哪里呢？锁中存储的是什么信息呢？从JVM规范中可以看到Synchronize在JVM中的实现原理，JVM是基于进入或退出Monitor对象来实现方法同步和代码块同步，但两者的实现细节不一样。1、代码块同步是使用monitorenter和monitorexit指令实现，2、而方法同步是使用另一种方式实现的，细节在JVM规范中并未详细说明。
【3dmax笔记】022：文件合并、导入、导出
「 刘一哥与GIS的故事」
05-15 52
3dmax高版本转低版本只能向下转换3个版本，可以选择导出为fbx，解除版本限制。只能合并 max 文件（高版本能够合并低版本模型，低版本不能合并高版本的模型）。导入格式有- - - fbx dwg skp 等等。
Vision Mamba代码笔记
最新发布
Zssss12的博客
05-20 410
事实上Vision Mamba重写了这个Mamba类，可以看到里边是由bimamba_type这个参数的（这其实也是Vision Mamba的主要贡献），执行如下代码。值得说明的一点是，如果你之前在跑其他的mamba，环境拿过来是不能直接直接用的，因为标准的Mamba类是没有bimamba_type这个参数的，所以，需要去Vim代码官网去找到mamba-1p1p1包，下载之后放自己项目里。按照官方readme.md配置，如果有问题照着下面这个链接改。我手敲的带中文注释的链接。
线性回归学习笔记
julyclj55555的博客
05-15 264
换句话说，多元线性回归可以有足够的精确性，但对于该精确性的合理解释会比较难，因为在多个属性中，可能有其中多组子属性的组合都能拟合到近似最优的模型效果，但对不同组的子属性的组合解释，会因为属性不同而有很大区别，这就是统计学家莱奥·布雷曼口中的“罗生门”（Rashomon）。它的值越大代表，拟合的结果越可信；将“罗生门”深挖一步，就是机器学习和统计学在认识论上的差异：统计学讲究的是“知其然，知其所以然”，它不仅要找出数据之间的关联性，还要挖出背后的因果性，给计算出的结果赋予令人信服的解释才是统计的核心。
canvas学习笔记-透明度
m0_51181022的博客
05-17 446
在上面画一系列半径递增的半透明圆。圆叠加得越多，原先所画的圆的透明度会越低。通过增加循环次数，画更多的圆，从中心到边缘部分，背景图会呈现逐渐消失的效果。方法类似，就多了一个用于设置色彩透明度的参数。它的有效范围是从 0.0（完全透明）到 1.0（完全不透明）。里所有图形的透明度，有效的值范围是0.0（完全透明）到1.0（完全不透明），默认值是1.0。第二个例子和上面的那个类似，不过不是画圆，而是画矩形。可以分别设置轮廓和填充样式，因而具有更好的可操作性和使用灵活性。
LLM+VLM代码示例
08-21
当然，我可以给你提供一些 VLM (Visual Light Communication) 和 LLM (Low Level Message) 的代码示例。以下是一个简单的VLM代码示例： ```python import time import RPi.GPIO as GPIO # 设置GPIO引脚 LED_PIN = 18 # 初始化GPIO GPIO.setmode(GPIO.BCM) GPIO.setup(LED_PIN, GPIO.OUT) def transmit_message(message): for char in message: # 将字符转换为二进制 binary = bin(ord(char))[2:].zfill(8) # 发送二进制信号 for bit in binary: if bit == '1': GPIO.output(LED_PIN, GPIO.HIGH) else: GPIO.output(LED_PIN, GPIO.LOW) # 控制发送速度（根据实际情况调整） time.sleep(0.1) # 两个字符之间的间隔时间（根据实际情况调整） time.sleep(0.5) # 发送消息 transmit_message("Hello, World!") # 清理GPIO资源 GPIO.cleanup() ``` 这个示例使用树莓派的GPIO引脚来模拟光通信，通过控制LED的亮灭来传输二进制信号。 以下是一个简单的LLM代码示例，这里假设你是在C语言环境下进行开发： ```c #include <stdio.h> #include <string.h> // 定义消息缓冲区大小 #define BUFFER_SIZE 100 void process_message(char* message) { // 在这里实现对消息的处理逻辑 printf("Received message: %s\n", message); } int main() { char buffer[BUFFER_SIZE]; // 模拟接收消息 printf("Enter a message: "); fgets(buffer, BUFFER_SIZE, stdin); // 去除换行符 buffer[strcspn(buffer, "\n")] = '\0'; // 处理消息 process_message(buffer); return 0; } ``` 这个示例是一个简单的命令行程序，通过用户输入来模拟接收消息，并在控制台上输出收到的消息。 希望这些示例能对你有所帮助！如果你有任何其他问题，可以继续问我。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值