操作链接:Tutorial/docs/L2/LMDeploy/readme.md at camp3 · InternLM/Tutorial (github.com)
50%A100*1 建立机器
1. LMDeploy验证启动模型文件
InternStudio提供的资源监控
权重占用14GB,剩余显存40-14=26GB,因此kv cache占用26GB*0.8=20.8GB,加上原来的权重14GB,总共约占用34.8GB。
2. LMDeploy API部署InternLM2.5
部署InternLM2.5模型
端口映射
以Gradio网页形式连接API服务器
设置在线 kv cache int4/int8 量化
W4A16 模型量化和部署
W4A16 量化+ KV cache+KV cache 量化
3.LMDeploy之FastAPI与Function call
API开发
Function call