基础任务:用 cli-demo 部署 console 问答 agent
按文档配置环境,运行脚本即可。模型是 load 的预训练节点,位于
/root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b
这是开源仓库 InternLM2-1.8B 的镜像,由 root config file config.json 指定了 AutoConfig, AutoModelForCausualLM, AutoModel 几个类在 load 时候的加载入口。(我猜是 huggingface 的文件目录格式
推理显存占用:4G
LMDeploy + gradio 部署 InternVL2-2b
本次复现不涉及源码,跑一下 LMdeploy 的命令就部署起来了,环境配好了已经。倒是 log 可以看一下:
img 进来之后先 encode,encode 之后 enqueue,等待结果完成计算