OpenXlab应用部署经验

最近参加了浦语书生大模型实战营，其中有用到OpenXlab的地方(使用Xtuner对InternLM_chat_7B微调后,将trandformers模型和streamlit推理代码上传到OpenXlab并部署)。整个部署过程还是比较繁琐的，此博客分享主观认为最重要的部分，即推理代码下载并调用OpenXlab上的模型。

假设已经在OpenXlab上上传好了模型

github上的代码结构如下：OpenXlab要求创建的应用得有app.py，但是可以在创建应用的时候将默认的启动文件更改，实践中将其改成了start.py，这也是踩坑的地方

由于OpenXlab升级，推理代码想使用OpenXlab模型中心的模型也有了变化。

使用官方的文档中的openxlab dowload有些不适用了,后续官方可能会更新：

部署应用没有root权限，将要下载的 linux包放在packages.txt中

git
git-lfs

requirentments.txt放推理需要的python依赖

 

start.py中执行拉取模型的过程和启动推理的过程

import os
base_path = './InternLM-chat-7b'
# download repo to the base_path directory using git
os.system(f'git clone https://code.openxlab.org.cn/OpenLMLab/InternLM-chat-7b.git {base_path}')
os.system(f'cd {base_path} && git lfs pull')
os.system('streamlit run web_demo.py --server.address=0.0.0.0 --server.port 7860')

web_demo.py中修改好模型的路径就可以，web_demo.py为InternLM官方推理代码

base_path = './InternLM-chat-7b'

#load transformers model
tokenizer = AutoTokenizer.from_pretrained(base_path,trust_remote_code=True)
# please replace "AutoModelForCausalLM" with your real task
model = AutoModelForCausalLM.from_pretrained(base_path,trust_remote_code=True, torch_dtype=torch.float16).cuda()