LMDeploy量化部署&VLM实践

【课程视频】：https://www.bilibili.com/video/BV1tr421x75B/

【课程文档】：https://github.com/InternLM/Tutorial/blob/camp2/lmdeploy/README.md

1.大模型部署背景：

2.大模型部署面临的挑战：

计算量巨大，内存开销巨大，访存瓶颈，动态请求

3.大模型部署的方法：

（1)模型剪枝

（2）知识蒸馏

（3）模型量化

通过量化可以使访存量降低，从而减低数据传输所需要的时间，提高了计算效率，减少了推理时间

4.LMDeploy简介