书生·浦语训练营：第五讲 LmDeploy部署（作业部分）

yidao0618

已于 2024-04-19 11:30:47 修改

阅读量302

点赞数 7

文章标签：人工智能 python

于 2024-04-19 11:29:20 首次发布

本文链接：https://blog.csdn.net/yidao0618/article/details/137958749

版权

本文详细介绍了如何在命令行和APIServer环境下配置LMDeploy，包括设置InternLM2-Chat-1.8B模型参数，如量化策略、KVCache占用比例，以及通过Python集成和视觉多模态应用llavatar-gradio-demo的部署过程。

摘要由CSDN通过智能技术生成

书生·浦语训练营：第五讲 LmDeploy部署（作业部分）

完成以下任务，并将实现过程记录截图：

配置 LMDeploy 运行环境
以命令行方式与 InternLM2-Chat-1.8B 模型对话

在这里插入图片描述

设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。

- lmdeploy chat /root/internlm2-chat-1_8b-4bit --model-format awq --cache-max-entry-count 0.4

在这里插入图片描述

以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。

lmdeploy serve api_server     /root/internlm2-chat-1_8b     --model-format hf     --quant-policy 0     --server-name 0.0.0.0     --server-port 23333     --tp 1 --cache-max-entry-count 0.4

在这里插入图片描述

使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。

from lmdeploy import pipeline, TurbomindEngineConfig

backend_config = TurbomindEngineConfig(cache_max_entry_count=0.4)

pipe = pipeline('/root/internlm2-chat-1_8b',
                backend_config=backend_config)
response = pipe(['Hi, pls intro yourself', '上海是'])
print(response)