LMDeploy 量化部署 LLM&VLM 实践 作业

1.创建conda环境

2.安装LMDeploy

3.下载模型

4.使用Transformer库运行模型

5.使用LMDeploy与模型对话

6.LMDeploy模型量化(lite)

0.5：

7.使用W4A16量化

8.LMDeploy服务(serve)

（1）命令行客户端：

（2）网页客户端：

9.Python代码集成

10.使用LMDeploy运行视觉多模态大模型llava