具体笔记在下面的链接里
书生浦语第二期第五节课笔记(LMDeploy 量化部署 LLM-VLM 实践)-CSDN博客
基础作业
![](https://img-blog.csdnimg.cn/direct/72d0fc9e262b43d48734501ac0ec6828.png)
进阶作业
1.设置KV Cache最大占用比例为0.4,开启W4A16量化,以命令行方式与模型对话。
![](https://img-blog.csdnimg.cn/direct/c237f6dec96e4384a4cc4e52f2911160.png)
2.以API Server方式启动 lmdeploy,开启 W4A16量化,调整KV Cache的占用比例为0.4,分别使用命令行客户端与Gradio网页客户端与模型对话。
![](https://img-blog.csdnimg.cn/direct/6fc4232cd0ee48068a8d701bd3af99e3.png)
![](https://img-blog.csdnimg.cn/direct/bf213b90e7d04a4b963f258dbe0214e3.png)
![](https://img-blog.csdnimg.cn/direct/2a62b85b2c804bf09c7707efccdff9eb.png)
3.使用W4A16量化,调整KV Cache的占用比例为0.4,使用Python代码集成的方式运行internlm2-chat-1.8b模型。
![](https://img-blog.csdnimg.cn/direct/c715b372c1c14891a3cbbfe68c3e6b27.png)
4.使用 LMDeploy 运行视觉多模态大模型 llava gradio demo。
![](https://img-blog.csdnimg.cn/direct/0c9fc0c111b64515bbb4cd5a79bc6be2.png)