LMDeploy 大模型量化部署实践 学习笔记

1 环境配置
2 服务部署
2.1 模型转换
2.1.1 在线转换
2.1.2 离线转换
2.2 TurboMind 推理+命令行本地对话
2.3 TurboMind推理+API服务
2.4 网页 Demo 演示
2.4.1 TurboMind 服务作为后端
2.4.2 TurboMind 推理作为后端
2.5 TurboMind 推理 + Python 代码集成
2.6 这么多，头秃，有没有最佳实践
2.6.1 方案实践
2.6.2 模型配置实践
3 模型量化
3.1 KV Cache 量化
3.1.1 量化步骤
3.1.2 量化效果
3.2 W4A16 量化
3.2.1 量化步骤
3.2.2 量化效果
3.3 最佳实践
参考资料
附录1：TritonServer 作为推理引擎
TritonServer环境配置
TritonServer推理+API服务
TritonServer 服务作为后端