LMDeploy量化部署LLM实践作业
基础作业
-
配置 LMDeploy 运行环境
-
以命令行方式与 InternLM2-Chat-1.8B 模型对话
-
使用Transformer库运行模型
-
使用LMDeploy与模型对话
-
进阶作业
-
设置KV Cache最大占用比例为0.4,开启W4A16量化,以命令行方式与模型对话。
-
以API Server方式启动 lmdeploy,开启 W4A16量化,调整KV Cache的占用比例为0.4,分别使用命令行客户端与Gradio网页客户端与模型对话。
-
使用W4A16量化,调整KV Cache的占用比例为0.4,使用Python代码集成的方式运行internlm2-chat-1.8b模型。
-
使用 LMDeploy 运行视觉多模态大模型 llava gradio demo。