基础作业(结营必做)
完成以下任务,并将实现过程记录截图:
-
配置 LMDeploy 运行环境(完成)
-
以命令行方式与 InternLM2-Chat-1.8B 模型对话(完成)
进阶作业
完成以下任务,并将实现过程记录截图:
-
设置KV Cache最大占用比例为0.4,开启W4A16量化,以命令行方式与模型对话。(优秀学员必做)(完成)
lmdeploy lite auto_awq \
internlm2-chat-1_8b \
--calib-dataset 'ptb' \
--calib-samples 128 \
--calib-seqlen 1024 \
--w-bits 4 \
--w-group-size 128 \
--work-dir internlm2-chat-1_8b-4bit lmdeploy chat ./internlm2-chat-1_8b-4bit --model-format awq --cache-max-entry-count 0.4
-
以API Server方式启动 lmdeploy,开启 W4A16量化,调整KV Cache的占用比例为0.4,分别使用命令行客户端与Gradio网页客户端与模型对话。(优秀学员必做)(完成
命令行:
Gradio:
lmdeploy serve gradio \
./internlm2-chat-1_8b-4bit \
--model-format awq \
--quant-policy 0 \
--server-name 0.0.0.0 \
--server-port 6066 \
--tp 1 \
--cache-max-entry-count 0.4
-
使用W4A16量化,调整KV Cache的占用比例为0.4,使用Python代码集成的方式运行internlm2-chat-1.8b模型。(优秀学员必做)(完成