书生·浦语大模型（五）LMDeploy 量化部署 LLM-VLM 实践【作业部分】

一、基础作业（结营必做）

完成以下任务，并将实现过程记录截图：

（一）配置 LMDeploy 运行环境

（二）以命令行方式与 InternLM2-Chat-1.8B 模型对话

可以看出，回答的还是不错的。

二、进阶作业【部分作业后期补充】

完成以下任务，并将实现过程记录截图：

（一）设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。（优秀学员必做）

1、完成模型量化工作

2、将KV Cache比例再次调为0.4

lmdeploy chat /root/internlm2-chat-1_8b-4bit --model-format awq --cache-max-entry-count 0.01

3、对话如下：

• 以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。（优秀学员必做）
• 使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。（优秀学员必做）
• 使用 LMDeploy 运行视觉多模态大模型 llava gradio demo。（优秀学员必做）
• 将 LMDeploy Web Demo 部署到 OpenXLab 。