第五节笔记：LMDeploy 大模型量化部署实践

最新推荐文章于 2025-06-06 09:22:06 发布
最新推荐文章于 2025-06-06 09:22:06 发布
阅读量1.1k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mds637/article/details/136142562
本文探讨了大模型部署中使用FP16半精度来减少内存占用，通过LMDeploy进行量化技术，以提升推理速度。特别关注了decoder-only架构的特性，以及如何在存储和推理阶段分别处理量化问题。同时，介绍了如何进行实际的安装、部署和量化实践。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大模型部署背景
在这里插入图片描述
参数用FP16半精度也就是2字节，7B的模型就大约占14G
在这里插入图片描述

2.LMDeploy简介
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
量化降低显存需求量，提高推理速度

大语言模型推理是典型的访问密集型，因为是decoder only的架构，需要token by token的生成，因此需要频繁读取之前生成过的token。
这个量化只是在存储时做的， 在推理时还要反量化回FP16.
在这里插入图片描述
在这里插入图片描述
w4a16意思是参数4bit量化，激活时是16bit

在这里插入图片描述
不用等一个batch的请求全部执行完才退出。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
3.动手实践-安装、部署、量化

Kerin637
关注
进阶：LMDeploy 大模型量化部署实践
weixin_42112760的博客
01-24 2494
如何优化 LLM 模型推理中的访存密集问题呢？我们可以使用 KV Cache 量化和 4bit Weight Only 量化（W4A16）。KV Cache 量化是指将逐 Token（Decoding）生成过程中的上下文 K 和 V 中间结果进行 INT8 量化（计算时再反量化），以降低生成过程中的显存占用。4bit Weight 量化，将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。
【书生·浦语大模型实战营】第5节：LMDeploy 大模型量化部署实践（笔记版）
zhenzhu2882的博客
02-20 570
【书生·浦语大模型实战营】第5节：LMDeploy 大模型量化部署实践（笔记版）
W4A16 量化
weixin_63647250的博客
06-20 3283
在进行W4A16量化后得到了新的模型，再结合KV Cache量化后模型运行时占用的显存有了非常大幅度的下降，证明我们再存储占用方面取得了很好的量化成果，这也让我们对模型速度，精度等有了更多的考虑，后续会进行更多测试得到数据结果。
大模型量化技术原理：总结
2401_85375186的博客
12-11 4016
本文总结了目前市面上主流的大模型量化方案以及讲述了如何根据特定的场景选择合适的量化算法。
InternLM/lmdeploy项目中的W4A16量化技术详解
最新发布
gitblog_01182的博客
06-06 273
InternLM/lmdeploy项目中的W4A16量化技术详解 引言 在现代大型语言模型(LLM)应用中，模型量化技术已成为降低计算资源需求、提升推理效率的关键手段。本文将深入解析InternLM/lmdeploy项目中支持的W4A16(4-bit权重，16-bit激活)量化技术，帮助开发者理解并应用这一高效推理方案。 量化技术基础 什么是W4A16量化 W4A16量化是一种将模型权重(weig...
上海人工智能实验室的书生·浦语大模型学习笔记及作业--day5
weixin_53443275的博客
01-26 1154
模型部署是指将训练好的模型在特定环境中运行的过程，以便将其应用到实际生产中。这个过程需要解决模型框架兼容性和运行速度的问题。LMDeploy是一个用于部署大模型的工具箱，由上海人工智能实验室开发。它使用C++/CUDA进行推理，并对外提供Python/gRPC/HTTP接口和WebUI界面。LMDeploy支持tensor parallel分布式推理，并支持fp16/weightint4/kv cache int8量化。LMDeploy的核心功能包括量化、TurboMind和推理服务。
第五课-LMDeploy 的量化和部署
qq_46016871的博客
02-21 6039
首先我们需要明白一点，服务部署和量化是没有直接关联的，量化的最主要目的是降低显存占用，主要包括两方面的显存：模型参数和中间过程计算结果。接下来我们切换到刚刚的终端（就是上图右边的那个「bash」，下面的「watch」就是监控的终端），创建部署和量化需要的环境。目录下的环境是官方未大家准备好的基础环境，因为该目录是共享只读的，而我们后面需要在此基础上安装新的软件包，所以需要复制到我们自己的 conda 环境（该环境下我们是可写的）。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。
第五次课：LMDeploy 大模型量化部署实践
weixin_48339493的博客
01-22 621
而执行本命令需要添加本机公钥，公钥添加后等待几分钟即可生效。ssh 端口号就是下面图片里的 33087。-p <你的ssh端口号>
第五节笔记 LMDeploy大模型量化部署实践
tuyihan的博客
02-18 298
书生·浦语大模型实战营第五节课堂笔记（LMDeploy 大模型量化部署实践）
weixin_49534890的博客
02-17 1082
但 PyTorch 和 DeepSpeed 调用的其实都是 Huggingface 的 Transformers 包，PyTorch表示原生的 Transformer 包，DeepSpeed 表示使用了 DeepSpeed 作为推理框架。可能得原因是，量化会导致一定的误差，有时候这种误差可能会减少模型对训练数据的拟合，从而提高泛化性能。此时，Server 就是本地跑起来的模型（TurboMind），命令行可以看作是前端。模型转换完成后，我们就具备了使用模型推理的条件，接下来就可以进行真正的模型推理环节。
「浦语大模型笔记五」lmdeploy大模型部署量化实践
ljn20001229的博客
01-23 1245
这节课讲解使用lmdeploy工具包对模型部署和量化的相关知识，主讲人是HuggingLLM负责人长琴，课程文档分享连接。
第三期书生大模型实战营——LMDeploy 量化部署进阶实践
qq_63629606的博客
08-29 1082
自 v0.4.0 起，LMDeploy 支持在线 kv cache int4/int8 量化，量化方式为 per-head per-token 的非对称量化。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。让我们回到LMDeploy，在最新的版本中，LMDeploy使用的是AWQ算法，能够实现模型的4bit权重量化。输入以下指令，让我们同时启用量化后的模型、设定kv cache占用和kv cache int4量化。
书生·浦语大模型第二期实战营第五课笔记+作业
m0_53217058的博客
04-24 802
由于数据过于单一，300轮已经有点傻了600轮已经成复读机了整合模型已成复读机web版复读机模型。
书生·浦语：大模型全链路开源体系（五）——推理部署
2301_77286822的博客
01-15 1784
大模型的推理速度将严重影响，用户的体验感和使用效率，各个大厂都在尽可能的提升模型的推理输出速度，常见的方法有量化、蒸馏和剪枝等。本篇文章将重点介绍上海人工智能实验室推出的LMDeploy部署架构，提高模型的推理速度。
学习笔记：书生·浦语实战营第二期第五课
追寻本身即是答案
04-17 2008
模型高效推理：TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，其主要功能包括LLaMa结构模型的支持、continuous batch推理模式、可扩展的 KV 缓存管理模型量化压缩：W4A16量化（AWQ），将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。Weight Only 是指仅量化权重，数值计算依然采用 FP16（需要将 INT4 权重反量化）服务化部署。
大模型实践第五节课笔记
weixin_46239415的博客
03-11 1689
首先我们需要明白一点，服务部署和量化是没有直接关联的，量化的最主要目的是降低显存占用，主要包括两方面的显存：模型参数和中间过程计算结果。接下来我们切换到刚刚的终端（就是上图右边的那个「bash」，下面的「watch」就是监控的终端），创建部署和量化需要的环境。目录下的环境是官方未大家准备好的基础环境，因为该目录是共享只读的，而我们后面需要在此基础上安装新的软件包，所以需要复制到我们自己的 conda 环境（该环境下我们是可写的）。值得说明的是，以上的划分是一个相对完整的模型，但在实际中这并不是绝对的。
lmdeploy量化部署
z1370378301的博客
01-27 1510
显存占用大生成速度(访存速度慢是主要瓶颈)即对于历史信息的动态分割与融合输入，输出以及KV Cache会被缓存下来理论上可以支持无限长的状态存储空间充足时：token id和k/v block一起存储空间不充足时：只存储token id，再输入命中时，再重新启动推理得到其k/v value。
书生浦语大模型实战营：LMDeploy量化部署
weixin_57128596的博客
08-25 1129
自 v0.4.0 起，LMDeploy 支持在线 kv cache int4/int8 量化，量化方式为 per-head per-token 的非对称量化。1B代表10个亿参数，假如是16位浮点数（f16），也就是2个Byte，则模型的权重大小为：1 * 10^9 * 2 = 2GB；模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。会占用剩余显存的80%，我们可以缩小其比例，减少重复计算，优化推理服务性能机制。默认的比例为0.8。
​即插即用！美团提出整数量化系数方案：大模型细粒度量化的免费午餐
Paper weekly
07-07 1220
摘要该文提出“整型量化系数”（Integer Scale），这是一种新颖的训练后量化方案，专门针对大型语言模型，它有效地解决了当前细粒度量化方法中的推理瓶颈，并且几乎精度无损。由于它不需要额外的校准或微调，可以即插即用，适用于大多数细粒度量化方法，因此称作“免费的午餐”。它的可以最高将原始对应版本的端到端速度提升 1.85 倍，并且保持相当的精度。此外，由于提出的整型量化系数和细粒度量化的协同作用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值