LMDeploy 大模型量化部署实践笔记

最新推荐文章于 2024-09-11 16:14:29 发布
最新推荐文章于 2024-09-11 16:14:29 发布
阅读量455 收藏 9
点赞数 7
分类专栏： 大模型学习 文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45607888/article/details/135557459
版权

视频地址：https://www.bilibili.com/video/BV1iW4y1A77P/
文档链接：https://github.com/InternLM/tutorial/blob/vansin-patch-4/lmdeploy/lmdeploy.md
在这里插入图片描述
这次笔记比较简陋，感觉PPT说的很清楚，没什么需要补充的

1. 大模型部署背景

在这里插入图片描述
在这里插入图片描述

2. LMDeploy介绍

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

持续批处理

在这里插入图片描述
有请求就加入空槽位，推理结束就释放，动态进行
在这里插入图片描述

有状态的推理

历史记录在推理侧缓存，理论上支持无限长历史，
在这里插入图片描述

Blocked k/v cache

使用block储存k/v cache
在这里插入图片描述

高性能算子

在这里插入图片描述

推理服务api server

方便与前端互联
在这里插入图片描述

到di有冇
关注
  • 7
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【第5节】LMDeploy 大模型量化部署实践
熊猫小妖的AI世界
04-24 1304
视频文档作业lmdeploy官方文档OpenXLab个人感觉camp2讲解的没有第一次的内容好，都是照着文档跑一遍，基础内容也没有啥深度(也可能是我水平太低哈，哈哈)。补充观看之前1.0版本的讲解吧文档视频基础作业（结营必做）配置 LMDeploy 运行环境以命令行方式与 InternLM2-Chat-1.8B 模型对话进阶作业设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。（优秀学员必做）
大模型微调部署实战及类GPT工具的高效使用
热门推荐
herosunly的博客
07-24 5万+
本文主要介绍了专栏《大模型微调部署实战及类GPT工具的高效使用》的核心内容，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 专栏亮点 3. 你的收获 4. 详细目录
基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）
03-06
基于pytorch的模型剪枝+模型量化+BN合并+TRT部署（cifar数据）
第5节LMDeploy 大模型量化部署实践：笔记
m0_75085274的博客
01-14 1920
我们先来介绍一下大模型的特点：首先就是参数量大，对于7B的模型，就需要14G以上的内存，并且由于是采用自回归的方式，所以这就需要去缓存之前的信息，这就会进一步增加消耗。而部署的定义就是将训练好的模型放在特定的环境（cpu，gpu，tpu，npu）接收输入，产生输出。这就要对模型进行优化，如模型压缩和硬化加速。从上面可以得出如何在低存储的设备上部署？如何提高token推理的速度？如何解决动态token的问题？如何提供系统吞吐量？对此现在有很多成熟的技术：低比特量化，模型并行等。
LMDeploy 大模型量化部署实践 学习笔记
weixin_42837310的博客
01-16 491
附录1：TritonServer 作为推理引擎。2.4.1 TurboMind 服务作为后端。2.4.2 TurboMind 推理作为后端。2.3 TurboMind推理+API服务。TritonServer推理+API服务。TritonServer 服务作为后端。2.6 这么多，头秃，有没有最佳实践。3.1 KV Cache 量化。2.4 网页 Demo 演示。3.2 W4A16 量化。2.1.1 在线转换。2.1.2 离线转换。3.1.1 量化步骤。3.1.2 量化效果。3.2.1 量化步骤。
【LMDeploy 大模型量化部署实践——笔记】
YYYYbhjbhkv_的博客
01-25 995
详细教学讲解视频，请看。
第五课笔记 LMDeploy 大模型量化部署实践
weixin_42035282的博客
02-19 1095
TurboMind。
05-14 周二 LMdeploy 部署量化和实战
05-16
内容为使用lmdeploy进行部署，量化和推理的整体描述，并且基于服务器进行了实践
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本地部署开源大模型的完整教程 LangChain + Streamlit+ LLaMA 本教程旨在指导开发人员如何在本地部署开源的大型语言模型（LLM），并使用LangChain、Streamlit和LLaMA等工具来创建交互式应用程序。以下是教程中涉及...
STM32学习笔记（二、初识stm32单片机）
tommorrowwill的博客
09-10 685
首先stm32是意法半导体公司（ST）使用ARM公司的Cortex-M为核心生产的32位的单片机。其中，ST---意法半导体公司，即SOC厂商。M---为Microelectronics的缩写，即微型处理器。32---表示控制器为32位的。103---表示F系列的子系列。
【C++学习笔记】数组与指针（三）
qq_38196449的博客
09-09 1148
0（空字符）
UEFI学习笔记（五）：EDK II PCD的概念、类型、使用
qq_44189622的博客
09-11 482
如果在BIOS里面有一些模块是binary方式集成进来的而这些binary又需要用到PCD（用于Binary Release），那么这些Binary集成的要用到的PCD就必须要设置为。PCD的值存在memory里面，下次启动时，上次更改的值丢失了，每次启动都是从default值开始。是存在VPD空间的（在FLASH上，只读），一般是出厂配置。如果platform是从源码build出来的，没有binary在里面的时候，PCD用的都是。作用域在一个模块中（模块级的），可以在Binary Level进行修改。
OJ在线判题系统项目笔记
今天不coding的博客
09-11 558
OJ在线判题系统项目笔记
C++学习笔记（10）
qq_60098634的博客
09-07 682
unordered_multimap 和 unordered_map 的区别在：unordered_multimap 允许关键字重复，而。unordered_multiset 和 unordered_set 的区别在：unordered_multiset 允许关键字重复，而。
rk3568系统buildroot开发笔记
Reasonss的博客
09-11 876
构建RK3568系统期间遇到的各种问题,我主要分为编译问题和运行问题
JS笔记
最新发布
2201_76100326的博客
09-11 297
Math对象属于Javascript内置对象，无需实例化（不需要添加new ），可以直接使用。只有一个Math.PI的属性。
sheng的学习笔记-AI-规则学习（rule learning）
coldstarry的专栏
09-09 997
机器学习中的“规则”(rule)通常是指语义明确、能描述数据分布所隐含的客观规律或领域概念、可写成“若……，则……”形式的逻辑规则。​“规则学习”(rule learning)是从训练数据中学习出一组能用于对未见示例进行判别的规则。一条规则形如：在数理逻辑中“文字”专指原子公式(atom)及其否定。与神经网络、支持向量机这样的“黑箱模型”相比，规则学习具有更好的可解释性，能使用户更直观地对判别过程有所了解。另一方面，数理逻辑具有极强的表达能力，绝大多数人类知识都能通过数理逻辑进行简洁的刻画和表达。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值