第五课：【LMDeploy 量化部署 LLM&VLM实战】笔记

讲师：【安泓郡】西北工业大学博士生、书生·浦源挑战赛冠军队伍队长、第一期书生·浦语大模型实战营优秀学员带来

 课程视频：LMDeploy 量化部署 LLM-VLM 实践_哔哩哔哩_bilibili

5.1大模型部署背景

实际部署大模型到需要的设备上——云端？机器？手机？

面临的挑战：

计算量大；

内存开销大；

访存瓶颈：时间花费在数据交换上

动态请求：

5.2大模型部署方法：

5.2.1模型剪枝：对贡献有效的冗余参数进行剪枝

1、非结构化

2、结构化

5.2.2知识蒸馏

5.2.3量化：损失浮点数精度（类似无损压缩）

为什么能提速？

浮点数计算，整数存储，减少精度损失，大模型访存密集，量化降低访存量，降低数据传输所需要的时间。提升效率的同时减少了推理时间。

5.3LMDeploy简介

LMDeploy是什么？

软件：涵盖LLM全套轻量化、部署、和服务解决方案。

LMDeploy核心功能：

（降低缓存占用）KV缓存管理器：将不用的缓存暂时放置在内存中，等需要使用的时候放入显存。

量化（不用的时候量化）——反量化（使用的时候量化）

LMDeploy性能表现：

新版本LMDeploy:不仅支持语言模型，也支持视觉模型

支持的大模型：