书生·浦语大模型实战营·第5节· 课程地址: LMDeploy 大模型量化部署实践_哔哩哔哩_bilibili
大模型部署背景
LMDeploy简介
核心功能-量化
核心功能 - 推理引擎TurboMind
动手实践
Github 教程: https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md
书生·浦语大模型实战营·第5节· 课程地址: LMDeploy 大模型量化部署实践_哔哩哔哩_bilibili
Github 教程: https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md