书生浦语作业五

基础作业(结营必做)

完成以下任务,并将实现过程记录截图:

  • 配置 LMDeploy 运行环境(完成)

  • 以命令行方式与 InternLM2-Chat-1.8B 模型对话(完成)

进阶作业

完成以下任务,并将实现过程记录截图:

  • 设置KV Cache最大占用比例为0.4,开启W4A16量化,以命令行方式与模型对话。(优秀学员必做)(完成)

 

lmdeploy lite auto_awq \

internlm2-chat-1_8b \

--calib-dataset 'ptb' \

--calib-samples 128 \

--calib-seqlen 1024 \

--w-bits 4 \

--w-group-size 128 \

--work-dir internlm2-chat-1_8b-4bit lmdeploy chat ./internlm2-chat-1_8b-4bit --model-format awq --cache-max-entry-count 0.4

  • 以API Server方式启动 lmdeploy,开启 W4A16量化,调整KV Cache的占用比例为0.4,分别使用命令行客户端与Gradio网页客户端与模型对话。(优秀学员必做)(完成

命令行:

Gradio:

 

lmdeploy serve gradio \

./internlm2-chat-1_8b-4bit \

--model-format awq \

--quant-policy 0 \

--server-name 0.0.0.0 \

--server-port 6066 \

--tp 1 \

--cache-max-entry-count 0.4

  • 使用W4A16量化,调整KV Cache的占用比例为0.4,使用Python代码集成的方式运行internlm2-chat-1.8b模型。(优秀学员必做)(完成

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值