视频地址:https://www.bilibili.com/video/BV1iW4y1A77P/
文档链接:https://github.com/InternLM/tutorial/blob/vansin-patch-4/lmdeploy/lmdeploy.md
这次笔记比较简陋,感觉PPT说的很清楚,没什么需要补充的
1. 大模型部署背景
2. LMDeploy介绍
持续批处理
有请求就加入空槽位,推理结束就释放,动态进行
有状态的推理
历史记录在推理侧缓存,理论上支持无限长历史,
Blocked k/v cache
使用block储存k/v cache
高性能算子
推理服务api server
方便与前端互联